机器学习（3）

神经网络

神经元模型 最基本的成分神经元（neuron）模型 神经元接入输入，输入有连接权重，一旦接收的数值超过阈值，神经元就会被激活，激活后通过激活函数输出，这个模型为M-P神经元模型 一般隐藏层和输出层有激活函数，激活函数常用sigmoid函数 感知机与多层网络 感知机 由两层神经元组成（输入层+输出层（M-P模型）） 可以实现逻辑与或非的运算 权重、阈值  要通过学习得到 学习规则：权重根据实际输出与期望输出的差做改变 多层功能神经元 在输入输出层中甲添加隐含层，输入层一般不进行函数处理 多层前馈神经网络 神经元之间没有同层的连接，没有跨越层级的连接 误差逆传播算法 误差逆传播（error backpropagation） 通常说的BP网路指BP算法训练的多层前馈神经网路 BP算法基于梯度下降（gradient descent）策略 BP神经网路常过拟合，处理方法：早停、正则化 全局最小和局部极小 跳出局部极小的几个方法 采用多个初试值进行训练，有几率获得多个局部极小，可以逼近全局最小 模拟退火，接受次优解，可以跳出局部极小 随机梯度下降，一样可以跳出局部最优 遗传算法，变异也有类似效果 （多为启发式，没有证明保证可以得到全局最小） 其他常见神经网络 RBF网路 ART网路 som网路 级联相关网路 elman网络 boltzmann机 深度学习 复杂模型+大数据（日后有机会再深入了解）

请各位同伙批评指正建议！

参考文献：

周志华. 机器学习