logit

1.为什么需要logit回归?

线性回归不稳健 异常点对拟合直线的影响很大 so linear不适合做分类问题

 

2.为什么要sigmoid？sigmoid能做什么？

y=0，1是离散问题,直接建立方程  函数不连续——损失函数不可导——参数无法用梯度法优化

所以我们由  转为 的广义线性思路

的值表征y取值的概率大小 最由概率大小转化为判断y的0,1值

优点：给出了结论的置信度(sigmoid(x))

           参数优化可以做了

 

课时48 ??? 决策边界 （ < - > svm）

 

课时49 50 ?????  损失函数

为什么损失函数里y不能直接用?

因为非线性  , 所以  曲线是非凸 的——容易陷入局部最优 到不了全局最优

——>想办法转化为凸函数

即转化为对线性

 ?????

损失函数使用极大似然

that is

 

课时51 高级优化

//todo

conjugate gradient

BFGS

L-BFGS

优点：自动化学习率 收敛速度 缺点：复杂太高级