机器学习（十八）：Adam算法和卷积层

一、Adam算法

在梯度下降公式：

如果选择的学习率太小，梯度下降速度会很慢，如果选择的学习率太大，梯度下降会来回摆动。

目前更常用的是Adam算法，可以自适应地调整学习率的大小。

Adam算法的全称：Adaptive Moment estimation

如果保持在大致相同的方向移动，Adam算法会提高学习率，提高梯度下降的速率。

如果保持来回摆动，Adam算法会降低学习率。

二、Adam算法代码实现

设置model.compile(optimizer=tf.keras.optimizers.Adam(learning rate=1e-3)，使用Adam，需要设置初始学习率learning rate。

三、卷积层和卷积神经网络

3.1 什么叫密集层

密集层：每层隐藏层的输出是通过前一层隐藏层的所有激活值计算出来的。

3.2 什么叫卷积层

卷积层：每层隐藏层的输出是通过前一层隐藏层的部分激活值计算出来的。

使用卷积层的神经网络叫卷积神经网络。

下面的案例中，输入是心电图的幅值：

• 第一层隐藏层使用卷积层类型，第一个神经元的输入是x1到x20，第二个神经元的输入是x11到x30；
• 第二层隐藏层使用卷积层类型，第一个神经元的输入是到，第二个神经元的输入是到；
• 第三次输出层用的是Sigmoid，输出得心脏病的概率。

3.3 卷积层的优点

1、计算速度更快

2、需要更少的训练数据，并且减少过拟合的发生

学习来源：吴恩达机器学习，10.1-10.2节