数据挖掘学习笔记4-神经网络

一、感知机（单层神经网络）
采用梯度下降（gradient descend）方法进行训练，wi = wi - η Σ （t - o）xi
单层神经网络无法处理线性不可分问题（如异或）
二、多层感知机（带隐含层神经网络）
通过将输入映射到隐含层，将线性不可分问题化简为线性可分问题，再用线性决策平面划分，以此解决线性不可分问题。
训练方法为backpropagation（反向传播），输出层的权重w由于误差已知，可简便算出
wi = wi - η X（t - o）X o X（1-o）xi
而隐含层由于误差位置，不好直接计算其误差对权重的偏导，需要将误差反向传播给隐含层，即

由链式求导法可知，该层的误差对权重的偏导等于下游层所有误差对其输入的偏导乘以上下层输出对输入的偏导之和（即sigmoid方程对输入的偏导o*（1-o））

bp算法很容易掉入局部最优点，解决方法1.可通过给不同初值多次训练 2.增加冲量（momentum）项，在导数为零的地方仍会推动前进 3.动态调整学习率
可采用其他更好的算法训练神经网络。
神经网络表达能力很强，理论上可代替任意模型。
过学习问题：
训练时同时观察校验集和训练集的误差，当校验集出现拐点时说明开始出现过学习，此时应及时停止训练。
更多神经网络：
记忆功能：
1.elman networks 将上一时刻网络的状态复制给特定的神经元，作为下一时刻的输入
2.hopfield networks 全互联网络，类似于人脑，训练时给模式，每种模式可训练至网络能量收敛到最小值，使用时给一种新的模式，网络再进行收敛，到某一特定点（即之前某模式所在的最小值）给出之前训练过的模式，类似于人脑联想记忆的方式。
神经网络特定：
1.训练时间较长，使用起来较快
2.准确度较高，可解释性较差
更多资源：