神经网络:巨量并行,智慧无限
- 神经元(感知机,Perceptrons),注意常数项w0,不然总是经过原点
- 如何设置和调整感知机输入的权重?
梯度下降法,知错就改法(Stochastic Learning) - 如何解决线性不可分问题?
线性不可分:一根线无法分出来类别
解决办法:多层感知机,把原始问题转化,将不可分转化为可分
- The Sigmoid Threshold Unit
sigmoid函数代替门限函数
输入值越接近0,导数越大 - 神经网络算法(ANN)
- BP(Backpropagation Rule) 前馈型
能够很好的逼近任意复杂的函数
深度学习:多层多层感知机
缺点:陷入局部最优解
学习率大小的设置:不能太小(必定掉入第一个坑),不能太大(超过真正的解) - Beyond BP Networks
- Elman Network
记忆功能
- Hopfield Network
回忆、联想功能
- Elman Network
- 特点
神经网络训练速度慢、准确度高、可解释性差
- BP(Backpropagation Rule) 前馈型
- Demo