机器学习第五章

今天看了《机器学习》的第五章神经网络部分。本章主要讲述的是：

1.神经元是神经网络模型的最基本的单元

2.M-P神经元模型包括输入层、隐层和输出层。

  2.1输入信号进行加权式的连接

  2.2输入层仅接受输入，不进行函数处理，隐层和输出层包含神经功能元

3.比较经典的神经网络的算法是BP算法（标准BP算法、累积BP算法）。一般情况下的BP算法网络指的是训练多层（指的是隐层的层数）前反馈神经网络。

4.为缓解BP算法经常遭遇的过拟合的现象，经常使用的方法是：“早停”和“正则化”。

5.局部极小和全局最小的问题就是在一个连续的函数表达式中极小值和最小值的问题。其目的就是使得神经网络训练集上的误差E（是关于连接权w和阈值的函数）达到最小。学术上称之为参数寻优，也就是说要在参数寻优的过程中希望找到全局最小（即E的最小值）。

6.遗传算法通常用来训练神经网络以更好的逼近全局最小。

7.经典的深度学习模型就是深层次的神经网络。为提高模型的容量，做法是增加隐层的数量。

8.在训练模型时，对隐层进行预训练，然后用BP算法对整个神经网络进行微调，以达到全局最优的效果。