机器学习——逻辑回归

分类和回归是机器学习可以解决两大主要问题，从预测值的类型上看，连续变量预测的定量输出称为回归；离散变量预测的定性输出称为分类。

逻辑回归（Logistic Regression）

逻辑回归由于存在易于实现、解释性好以及容易扩展等优点，被广泛应用于点击率预估（CTR）、计算广告（CA）以及推荐系统（RS）等任务中。逻辑回归虽然名字叫做回归，但实际上却是一种分类学习方法。线性回归完成的是回归拟合任务，而对于分类任务，我们同样需要一条线，但不是去拟合每个数据点，而是把不同类别的样本区分开来。

预测函数
对于二分类问题，y∈{0,1}，1表示正例，0表示负例。逻辑回归是在线性函数θTx 输出预测实际值的基础上，寻找一个假设函数hθ(x)=g(θTx)，将实际值映射到到0，1之间，如果hθ(x)>=0.5，则预测y=1，及y属于正例；如果hθ(x)<0.5，则预测y=0，即y属于负例。

逻辑回归中选择对数几率函数（logistic function）作为激活函数，对数几率函数是Sigmoid函数（形状为S的函数）的重要代表：

则逻辑回归输出的预测函数数学表达式为：

其中θ是参数向量。对于hθ(x)的直观解释是：对于给定的输入x，hθ(x)表示其对应类标y=1，即属于正例的概率。
对于输入x分类结果为类别1和类别0的概率分别为：

损失函数

由于y只能取0或1，服从伯努利分布，hθ(x)即事件y=1发生概率，则概率质量函数为：

对于m个独立同分布的训练样本x，其似然函数取对数后写作：

根据“最大似然估计”，求l(θ)取最大值时的θ，定义损失函数J(θ)为：

所以最后目标变成取J(θ)最小值时的θ为最佳参数。