tensorflow + keras —— optimizer、loss、metrics、regularizers（dropout）

• SGD（随机梯度下降），
• LBFGS（受限的BFGS）：deep autoencoder with L-BFGS
• CG（共轭梯度法）

1. model.compile(optimizer=)

https://www.jianshu.com/p/4f1469745598

• 字符串形式的 optimizer：
  
  • sgd：
  • rmsprop：
• 类对象形式：
  
  • keras.optimizers.SGD(lr=0.01, momentum=0., decay=0., nesterov=False)
  • keras.optimizers.Adagrad(lr=0.01, epsilon=1e-6)
  • keras.optimizers.Adadelta(lr=1.0, rho=0.95, epsilon=1e-6)
  • keras.optimizers.RMSprop(lr=0.001, rho=0.9, epsilon=1e-6)
  • keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-8, kappa=1-1e-8)
    
    
    

$$\begin{split} m_1&=(1-\gamma)g_1\\ m_2&=\gamma m_1+(1-\gamma)g_2\\ &=\gamma(1-\gamma)g_1+(1-\gamma)g_2 \end{split}$$

如上图所示的 Momentum 形式，$m_t=\gamma m_{t-1}+(1-\gamma)g_t$，$m_t$ 不仅与当前梯度 $g_t$ 有关，还跟 $m_{t-1}$ 有关，而 $m_{t-1}$ 则携带有上次梯度相关信息。

2. model.compile(loss=)

• 字符串形式：
  
  • 回归问题：
    
    • mean_squared_error/mse
  • 分类问题：
    
    • 二分类：binary_crossentropy
    • 多分类：categorical_crossentropy
• 对象形式：
  
  • loss=losses.binary_crossentropy

3. model.compile(metrics=[”, ”])

• 字符串形式：
  
  • ’accuracy’
• 对象形式：
  
  • metrics=[metrics.binary_accuracy]

4. 过拟合的避免 —— 正则化

• 不同的正则化项：

  from keras import regularizers
  regularizers.l2(0.001)
  regularizers.l1(0.001)
  regularizers.l1_l2(l1=0.001, l2=0.001)

  这些正则化项作为layer的可选参数：

  model.add(layers.Dense(16, kernel_regularizer=regularizers.l1(0.001), 
                  activation='relu', input_shape=(10000, )))

5. 引入 dropout

• dropout 应用于前面一层的输出

  dropout_rate = 0.5      # 0.3~0.5 之间
  model = models.Sequential()
  
  model.add(layers.Dense(16, activation='relu', input_shape=(10000, )))
  model.add(layers.dropout(dropout_rate))
  
  model.add(layers.Dense(16, activation='relu'))
  model.add(layers.dropout(dropout_rate))
  
  model.add(layers.Dense(1, activation='sigmoid'))