统计学习方法笔记

1. 损失函数

4个损失函数看统计学习方法P7

期望，就是均值

极大似然估计（似然就是概率、可能性，所以也是极大可能性估计）

对数损失是用于最大似然估计的。一组参数在一堆数据下的似然值，等于每一条数据的概率之积。
而损失函数一般是每条数据的损失之和，为了把积变为和，就取了对数。
再加个负号是为了让最大似然值和最小损失对应起来

||w||是w的L2范数，w是个向量，L2范数是每个子项的平方和再开方

感知机

分类函数sign(x)，输出是{-1,1}，wx+b>0时，y=1，wx+b<0 时，y=-1，所以所有分类正确的

wx+b=0 是 超平面S，x0到 超平面的距离是 |wx0+b|/ ||w||，（回忆下点到直线ax+by+c=0的距离，点到平面ax+by+cz+d=0的距离）

损失函数是分类错误的点到超平面的距离，而分类错误的 y(wx+b)<0，所以-y(wx+b)>0，而wx+b>0时，y=1，wx+b<0 时，y=-1，

带入点到超平面距离公司，x0到 超平面的距离是  -y(wx+b)/ ||w||

后面的训练是 对w、b求偏导数，得到梯度表示，再加入个步长 ，就可以训练了

贝叶斯估计

截图不见了