机器学习（6）——从线性回归到逻辑斯特回归_线性回归怎么变成逻辑回归-CSDN博客

本文链接：https://blog.csdn.net/zx10212029/article/details/49889319

Linear Regression

在学习李航《统计学习方法》的逻辑斯特回归时，正好coursera上相应的线性回归和逻辑斯特回归都学习完成，在此就一起进行总结，其中图片多来自coursera课程上。
线性回归是机器学习中很好理解的一种算法。我们以常见的房屋销售为例来进行简单分析：
假设我们统计的一个房屋销售的数据如下：
这里写图片描述
在此，我们从单一变量谈起，直观上比较容易理解。训练集定义为 $\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\ldots,(x^{(m)},y^{(m)})\}$ ,其中 $x$ 是输入特征， $y$ 是输出目标， $m$ 是样本的总数目。线性回归的最终目的如下所示，就是通过学习，得到一个拟合函数，使得通过输入特征就能预测目标输出值，本例即通过房屋大小估计房屋价格。
这里写图片描述

假设空间

实际线性回归假设能够拟合各种不同的曲线，实际的房子价格可能与房间面积、房间厅室、房间朝向等多个变量有关，我们可以定义特征 $x=\{x_1,x_2,\ldots,x_i\}$ 那么我们可以定义拟合函数为:

h (x) = h θ (x) = θ 0 + θ 1 x 1 + θ 2 x 2 + \dots + θ i x i = θ T x

$h(x)=h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+\ldots+\theta_ix_i=\theta^Tx$
其中

θT=[θ0,θ1,…,θi],xT=[x1,x2,…,xi] $\theta^T=[\theta_0,\theta_1,\ldots,\theta_i],x^T=[x_1,x_2,\ldots,x_i]$ ,最后是其向量表达形式。我们可以看出，每一组

θ $\theta$ 值对应一个拟合函数，为了选出其中最好的

θ $\theta$ ，我们定义一个评价标准，即损失函数(loss function)或代价函数(cost function)。

代价函数

在线性回归中，我们定义代价函数为：

J (θ) = 1 m \sum i = 1 m 1 2 (h θ (x (i)) - y (i)) 2

$J(\theta)=\frac{1}{m}\sum_{i=1}^m\frac{1}{2}(h_\theta(x^{(i)})-y^{(i)})^2$

min θ J θ

$\min_{\theta}J_\theta$
其中，系数

12 $\frac{1}{2}$ 是为了求导方便，

1m $\frac{1}{m}$ 在不同的讲义中可能会有所不同，我们以斯坦福的讲义为标准。
从表达式我们可以看出，学习的最终目的就是优化代价函数，使代价函数变小了，预测值和真值的差异就越小，训练出来的模型就越好。如何求解

J(θ) $J(\theta)$ 有很多种办法，常见的有梯度下降法和最小二乘法。

梯度下降法

梯度下降法是求解无约束最优化问题的一种最常见的方法，其实现简单，易于理解。如下图所述带有二元参数的目标函数 $J(\theta_0,\theta_1)$ ,求解其最小值。我们可以初始化一个参数值 $(\theta_0,\theta_1)$ ,然后求 $J(\theta_0,\theta_1)$ 在各个方向的偏导，通过一个学习步长来改变参数，并最终求得 $J(\theta_0,\theta_1)$ 的最小值。具体算法流程为：