请展开目录,方便索引
soft binary classification
Logistics回归模型要解决的是分类问题,在之前的二元分类问题中,我们将数据分成正例和负例,但是像PLA算法一样,用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是,我们希望能得到正例的概率值是多少。
logistic regression的假设
我们在PLA和线性回归算法中都用数据的加权来计算一个分数s,在logistic回归中,我们用sigmoid函数来将这个分数s转化成0到1的概率值。
所以,用下面的h(x)来表示一个假设,而这个logistic函数θ(x)就是θ(x)=1/[1+exp(-x)](该函数平滑且处处可微)。
logistic regression的训练误差函数
我们设想目标函数f(x) = P(+1|x),这里数据的正例和负例的概率分布其实是一个伯努利分布。那么,如果我们的假设h(x)要逼近f(x)函数,那么对于训练数据D,由h构成的似然度应该近似等于从这个伯努利分布中抽取数据的概率。