感知机
σ函数有很多种选择,条件函数可以根据需要调整
二分类问题:-1 or 1
二分类:
Vs.回归输出实数
Vs.SoftMax回归输出概率()多分类
训练感知机
*对于二分类问题,样本yi乘以(w与xi的内积加上b)的结果,如果是大于0,则证明预测和实际相符,如果小于0,则表示分类分错了,需要调整更新参数。w = w + yixi , b = b + yi
**感知机最原始的训练就是一遍一遍去遍历原始数据**
对于梯度来说,使用了max函数,如果 y<w,x> 大于 0,则分类正确,不用调整参数,添加负号则小于 0,要达到不调整参数的目的,需要使得梯度为 0。如果分类错误,那么就产生了梯度,需要更新梯度。
收敛定理
存在余量ρ>0,使得感知机能把所有的样本分开。如果ρ越大,表示数据样本类别差异越明显,那么模型收敛越快。