单层感知机:
感知机是一个二元分类的线性模型。它采用海维赛德(Heaviside)阶跃函数作为激活函数。
海维赛德阶跃函数: x为‘门限值,如0.5’,y=0,否则y=1. 程序说法是: x<0.5?0:1
从神经元细胞借鉴的‘门限’和‘权重和’的概念是建模的关键。
向量xw的点积--》海维赛德阶跃函数(作为激活函数)--》分类0,1
XW+b, b为偏好。如果b为负,样本X一定,为使结果仍为0.5,要求W更大。
所以调整b可以调整决策边界。
输入X并不影响b,b通过感知学习算法获得。
单层感知机--》多层感知机。
单层感知机:输入--》(X点乘W)+b--》海维赛德阶跃函数--》分类结果
output = H(Wi · Ai + b), H指海维赛德阶跃函数
感知学习算法:功能类拟于前面的更新函数,调整权重W和偏好b.
如果样本没有被线性划分,感知学习算法不会中止。
W初始化为小随机值或0.
XOR逻辑是线性不可分的。
x1 x2 y
0 0 0
0 1 1
1 0 1
1 1 0
早期感知机的限制:不能处理XOR等非线性问题,多层感知机可以。
单层感知机为什么不能分类线性问题,证明见:http://blog.csdn.net/panda07100/article/details/38580993
由于这个限制,导致AI第一次冬天,1974–1980,直到后来的反向传播算法。
感知机是一个二元分类的线性模型。它采用海维赛德(Heaviside)阶跃函数作为激活函数。
海维赛德阶跃函数: x为‘门限值,如0.5’,y=0,否则y=1. 程序说法是: x<0.5?0:1
从神经元细胞借鉴的‘门限’和‘权重和’的概念是建模的关键。
向量xw的点积--》海维赛德阶跃函数(作为激活函数)--》分类0,1
XW+b, b为偏好。如果b为负,样本X一定,为使结果仍为0.5,要求W更大。
所以调整b可以调整决策边界。
输入X并不影响b,b通过感知学习算法获得。
单层感知机--》多层感知机。
单层感知机:输入--》(X点乘W)+b--》海维赛德阶跃函数--》分类结果
output = H(Wi · Ai + b), H指海维赛德阶跃函数
感知学习算法:功能类拟于前面的更新函数,调整权重W和偏好b.
如果样本没有被线性划分,感知学习算法不会中止。
W初始化为小随机值或0.
XOR逻辑是线性不可分的。
x1 x2 y
0 0 0
0 1 1
1 0 1
1 1 0
早期感知机的限制:不能处理XOR等非线性问题,多层感知机可以。
单层感知机为什么不能分类线性问题,证明见:http://blog.csdn.net/panda07100/article/details/38580993
由于这个限制,导致AI第一次冬天,1974–1980,直到后来的反向传播算法。