神经网络学习笔记（3）：Keras

Keras 中的其他激活函数：

model.add(Activation('sigmoid'))

model.add(Activation('softmax'))

model.add(Activation('relu'))

model.add(Activation('tanh'))

 

梯度下降->随机梯度下降：

如果每次都用所有的数据下降一个步长，很费内存

如果数据分布合理，每次使用一部分数据就可以告诉我们梯度

在 Keras 中很容易实现随机梯度下降。我们只需按以下命令在训练流程中指定批次大小，这里，我们将数据分成 100 批。

model.fit(X_train, y_train, epochs=1000, batch_size=100, verbose=0)

 

学习速率：

学习速率大，step大