机器学习：线性回归与逻辑回归

一、单变量线性回归(Linear Regression with One Variable)

以预测住房价格为例子，单变量线性回归是指只有一个特征（输入变量），这里以房子的大小来预测房价。

假使我们回归问题的训练集（Training Set）如下表所示：

将要用来描述这个回归问题的标记如下:

𝑚 代表训练集中实例的数量

𝑥 代表特征/输入变量 ；

𝑦 代表目标变量/输出变量；

(𝑥, 𝑦) 代表训练集中的实例；

(𝑥 (𝑖) , 𝑦 (𝑖) ) 代表第𝑖 个观察实例；

ℎ 代表学习算法的解决方案或函数也称为假设（hypothesis）

1.模型预测：要将训练集输入学习算法，进而学习得到一个假设ℎ

2.代价函数：

3.梯度下降：最小化代价函数

其中𝑎是学习率（learning rate），它决定了我们沿着能让代价函数下降程度最大的方向 向下迈出的步子有多大，在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率 乘以代价函数的导数。

二、多变量线性回归 (Linear Regression with Multiple Variables)

目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征， 例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(𝑥1, 𝑥1, . . . , 𝑥𝑛 )。

1.模型预测：

2.成本函数：

3.梯度下降：

4.特征缩放：将所有特征的尺度都尽量缩放到-1 到 1 之间，最简单的方法是令：𝑥 = （𝑥−𝜇)/ 𝑠 ，其中 𝜇是平均值，𝑠是标准差。

5.学习率：

梯度下降算法的每次迭代受到学习率的影响，如果学习率𝑎过小，则达到收敛所需的迭 代次数会非常高；如果学习率𝑎过大，每次迭代可能不会减小代价函数，可能会越过局部最 小值导致无法收敛。

通常可以考虑尝试些学习率： 𝛼 = 0.01，0.03，0.1，0.3，1，3，10、

三、正规方程

处理线性回归问题的第二种方法，通过矩阵运算直接求解成本函数的最小值

梯度下降与正规方程的比较：

四、逻辑回归(Logistic Regression)

逻辑回归属于分类问题，输出只有两种结果。

 1.模型选择：

  

2.成本函数：

简化：

 

 3.梯度下降：

五、线性回归正则化

1.过拟合

解决过拟合的方法：

1. 训练更多的数据集
2. 丢弃一些不能帮助我们正确预测的特征
3. 正则化， 保留所有的特征，但是减少参数的大小（magnitude）

2.正则化代价函数

其中𝜆又称为正则化参数（Regularization Parameter）

如果选择的正则化参数 λ 过大，则会把所有的参数都最小化了，导致模型变成 ℎ𝜃 (𝑥) = 𝜃0，造成欠拟合。

我们令 𝜆 的值很大的话，为了使 Cost Function 尽可能的小，所有的 𝜃 的值 （不包括𝜃0）都会在一定程度上减小。

3.梯度下降：

六、正则化的逻辑回归模型

1.成本函数：

2.梯度下降: