机器学习心得（二）——逻辑回归

机器学习心得（二）——logistic回归

逻辑回归与线性回归的区别

听到回归这个词，很容易误认为回归就是来拟合函数进行预测之类的（至少我曾经这样认为过），而回归同样可以进行分类任务。广义线性回归模型中（如下），秩只需要寻找一个单调可微函数将分类任务的标记与线性模型的预测值联系起来即可。这就好比，老师在给学生进行评价时，需要计算学生的各项成绩组成得分，然后对不同分数段的学生进行分类是一样的道理。

换一种说法：

线性回归：x -> y 的一种映射

逻辑回归：x -> z -> y 的映射，其中z为线性模型产生的预测值，即为上文提到的得分

logistic回归模型

我们通过线性模型计算出了“得分”，那么如何将得分映射到各类呢？拿二分类问题为例，两类标签分别为0，1，那么我们可以构造一个函数如下所示：

看起来很合理的一个函数，但却会带来很多难题，由于它不满足单调可微，所以不能拿来直接使用。于是，大佬们想出了一个很牛逼的函数，那就是sigmoid函数，每次看到这个近乎完美的函数与其优秀的性质，我都会为自己的丑陋而感到羞愧。