我们希望当y=-1时,WTX+b<0的,但是现实却是WTX+b>0,没有达到平衡。所以要对w和b进行调整,调整如下:
y=+1也是如此
证明如下:
定义增光向量的目的是简化表达:
基于增广向量的感知器算法和原来的感知器算法也是完全等价的
上面的这个条件与训练数据集线性可分完全等价的
---------------------------------------------------------------------------------------------------------------------------------
能精确训练,但预测数据效果不好
感知器算法送入部分数据,支持向量机是送入全部数据
多层神经网络
上图中经过阶跃函数后
上图的意思是,如果X1,X2在三角形外面,则至少有一个小于0 ,经过阶跃函数后,z1,z2,z3至少有一个等于0
梯度下降算法
实际中,并不知道决策函数是什么,也不知道神经网络的结构是什么,因此从另一方面入手: