商品LR训练

线性回归：
训练过程
2. 求w：
1）定义误差 err
2）怎么衡量哪条直线最好？
所有点的误差平方和最小最好 （学习的目标）
【Loss损失函数】【cost代价函数】
3）求导等于0来求最小值对应的参数w

交叉验证：
样本分成5分：1,2,3,4,5
以1,2,3,4为训练，第5份作为预测
以1,2,3,5为训练，第4份作为预测
以1,2,4,5为训练，第3份作为预测
以1,3,4,5为训练，第2份作为预测
以2,3,4,5为训练，第1份作为预测

先用一个lambda=0.1 0.01 求平均作为最终效果
lambda=1 求平均作为最终效果

逻辑回归：

1. 逻辑回归模型：p(y=1|x)=1/(1+exp(-wx))

2. 求w：
   1）
   20个取10个

实际：p(黑8,白2)

黑2，白8
白10
黑10
黑5，白5
2）怎么衡量哪条直线最好？ 最大似然
【Loss损失函数】【cost代价函数】

只要是概率模型，损失函数都是通过最大似然来的。
最大似然就是做参数估计用的。

概率最大，连乘概率最大。

p^8 (1-p)^2 log变换 8logp+2log(1-p)

p^9 (1-p)^2 9logp+2log(1-p)

3）求导等于0来求最小值对应的参数w
导数为0不能直接求，需要用到梯度，牛顿方式去求
梯度和牛顿只是一个方向的确定，
确定往下走的方向，负梯度
跨一步才能往下走，步长 line search确定步长

因为求梯度中有求和，所以每次梯度计算需要扫一遍数据集
加上步长，每走一步（迭代一次）就需要扫一遍数据集