【机器学习基础】Logistic回归基础

请展开目录，方便索引

soft binary classification

Logistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。

logistic regression的假设

我们在PLA和线性回归算法中都用数据的加权来计算一个分数s，在logistic回归中，我们用sigmoid函数来将这个分数s转化成0到1的概率值。

所以，用下面的h(x)来表示一个假设，而这个logistic函数θ(x)就是θ(x)=1/[1+exp(-x)]（该函数平滑且处处可微）。

logistic regression的训练误差函数

我们设想目标函数f(x) = P(+1|x)，这里数据的正例和负例的概率分布其实是一个伯努利分布。那么，如果我们的假设h(x)要逼近f(x)函数，那么对于训练数据D，由h构成的似然度应该近似等于从这个伯努利分布中抽取数据的概率。