常用的TensorFlow优化器

在TensorFlow和Keras中，有多种优化器可用于编译模型。这些优化器主要用于最小化或优化模型的损失函数。以下是一些常用的TensorFlow优化器，以及如何在`model.compile`方法中使用它们。注意，这里的`lr`参数在TensorFlow 2.x中已被重命名为`learning_rate`，但为了兼容性，一些示例将使用`lr`。

### 常用的TensorFlow优化器

1. **Adam**
   ```python
   model.compile(optimizer=tf.keras.optimizers.Adam(lr=0.001), loss=Fract_MSE_modified_TF, metrics=["l2 relative error"])
   ```

2. **SGD (Stochastic Gradient Descent)**
   ```python
   model.compile(optimizer=tf.keras.optimizers.SGD(lr=0.001), loss=Fract_MSE_modified_TF, metrics=["l2 relative error"])
   ```

3. **RMSprop**
   ```python
   model.compile(optimizer=tf.keras.optimizers.RMSprop(lr=0.001), loss=Fract_MSE_modified_TF, metrics=["l2 relative error"])
   ```

4. **Adagrad**
   ```python
   model.compile(optimizer=tf.keras.optimizers.Adagrad(lr=0.001), loss=Fract_MSE_modified_TF, metrics=["l2 relative error"])
   ```

5. **Adadelta**
   ```python
   model.compile(optimizer=tf.keras.optimizers.Adadelta(lr=0.001), loss=Fract_MSE_modified_TF, metrics=["l2 relative error"])
   ```

6. **Adamax**
   ```python
   model.compile(optimizer=tf.keras.optimizers.Adamax(lr=0.001), loss=Fract_MSE_modified_TF, metrics=["l2 relative error"])
   ```

7. **Nadam**
   ```python
   model.compile(optimizer=tf.keras.optimizers.Nadam(lr=0.001), loss=Fract_MSE_modified_TF, metrics=["l2 relative error"])
   ```

8. **FTRL (Follow The Regularized Leader)**
   ```python
   model.compile(optimizer=tf.keras.optimizers.Ftrl(lr=0.001), loss=Fract_MSE_modified_TF, metrics=["l2 relative error"])
   ```

每个优化器都有其特点和适用场景。例如，Adam是最常用的优化器之一，因为它结合了RMSprop和SGD的优点，适用于大多数情况。而SGD是最基本的优化器，适合于对优化过程有深入了解并希望手动调整学习率的场景。

在选择优化器时，您可以根据问题的具体需求和模型的特性进行选择。不同的优化器和参数设置可能会对模型的训练速度和最终性能产生显著影响。在实际应用中，可能需要尝试多种优化器和参数组合，以找到最适合您的模型和数据的配置。