cs229 斯坦福机器学习笔记（二）-- LR回顾与svm算法idea理解

LR回顾

LR是机器学习入门的第一道坎，总结一下，Linear Regression 和logistic Regression都是属于GLM，套了logistic之后，输出结果就变成一个概率了，loss function和 likelihood function取反是类似的东西，都可以作为优化的目标。但我感觉  likelihood function从概率统计上来说，更有理论支持吧。loss function 直接对残差求平方和，直觉上也是挺合理的；当然，对于logistic Regression来说，概率值求残差就说不太通了，更重要的原因是非凸函数，不好求解。

coursera ml的编程题文档确实不错，非常细致，导致后来视频没怎么看就直接把题目下下来做掉了。动手还是挺重要的，比干看理论能有更深入的体会。做完编程题，印像最深刻的就是w0的处理了，正则化的时候要排除掉它。这东西叫bias，或者叫intercept term啥的。因为这个东西，搞得处理起来还挺麻烦的。举个简单情况 y= w１ * x +　ｗ０，这里w0就是一个截距，调节直线不穿过原点。从这个角度想想，w0确实不应该正则化，值是多少就多少。

Note that often the coefficient w0 is omitted from the regularizer because its
inclusion causes the results to depend on the choice of origin for the target variable
(Hastie et al., 2001), or it may be included but with its own regularization coefficient
(we shall discuss this topic in more detail in Section 5.5.1).

prml提到两点。应该好理解，意思就是说你可以选择线性变换一下y，或者单独给w0选择一个正则化的系数。

另外一个问题，就是工作中，我们提到的LR模型到底是指Linear Regression 还是 Logistic Regression？一般是指后者，主要用来做ctr（pv /ctr）预估之类的工作，结果可以直接作为一个分数来用，其实就是一个2分类的问题，点击，或者不点击。LR有意思的一点就是如果对“发生比”（odd，发生的概率除以不发生的概率）取自然对数，结果w*x，是线性的。（可以看看李航的《统计学习方法》）