Machine Learning——Logistic Regression(逻辑回归)

逻辑回归（LR）虽然名字带“回归”，但它却是一种分类方法，用于二分类问题。

 

具体过程：

 

1. 构造预测函数

逻辑回归对应二分类问题，因此需要寻找一个预测函数h，该函数的输出是两个值。一般采用sigmoid函数，其函数形式如下所示：

 

此函数对应一个取值在0和1之间的光滑曲线。

 

在此，仅考虑数据部分为线性边界的情况，对应的边界如下：

 

 

 

所构造的预测函数为：

 

 

考查预测函数的特殊含义：

预测函数的值表示了样本x对应的分类结果取1的概率。因此，对于输入样本x分类结果为类别1,0的概率分别为：

 

 

上式可化简为：

 

 

 

2. 构造损失函数

对上述推导得到的概率取最大似然估计：

 

对应的对数似然估计为：

 

目标：使得上式子取最大值，等价于如下等式取最小值：

 

 

3. 使用梯度下降法求解

梯度下降的参数更新过程如下：

 

其中，alpha为学习步长，梯度求解如下：

 

因此，梯度下降的最终更新方程如下：

 

 

 

至此，可以得到最终的回归函数解决二分类问题。第一篇博客！