统计学习方法之逻辑回归(Logistic Regression)

逻辑回归之所以叫逻辑是因为他用到了逻辑分布:

图形如下：

还是按照老样子，根据李航老师的统计学习方法三部分进行学习。
1 模型
假设输入为任意范围内的属性值，输出为0－1之间的概率。给定一个阈值，当概率大于该阈值时，Y ＝ 1，否则Y＝ 0。（在等于阈值部分随意设定，毕竟一点之差不算差）
利用逻辑分布表示之：

w*x表示，对不同属性的权值做了一个设定，b表示偏移量。也可以以x0 ＝ 1， w0 ＝ b的方式写到w*x上。

在这里注意一点，林轩田老师的视频中Y用的是－1或1，这样可以用到逻辑函数中心对称的性质：

  1-logit(x) = logit(-x)

这个性质在以后最大似然估计和梯度下降时有重大简化作用。当然，本文先使用0，1解决，在用－1，1解决一次。
李航老师书中提到了几率（odds）的概念，但是在后期的解答过程中并没有涉及到相关问题，我就不再记下来了。应该是解释为什么输出Y是一个离散值，但却叫回归的原因。

2 策略
为了得到最合适的w，我们应当采取合适的策略进行学习。逻辑回归模型采用的是最大似然估计的方式。
似然函数：