第一个机器学习算法——单变量线性回归

线性回归基础

从我们最熟悉的开始：


m:表示训练集数据的总量
x:表示输入变量
y:表示输出变量
(x,y): 表示一个训练样本
(x(i),y(i)): 表示第i个训练样本
有监督的学习：可以预测到一个确定的结果

对于一元线性回归（单变量线性回归）来说，学习算法为y=ax+b，换一种写法就为h（x）=theta0 + theta1.x1

线性回归实际上要做的事情就是： 选择合适的参数（w, b），使得f(x)方程，很好的拟合训练集

损失函数的引入

w=0, b=180
f(x) = 180

w=-3, b=360
f(x) = -3x + 360

w=2, b=20
f(x) = 2x + 20

模型：
hθ(x) = θ0 + θ1x1
参数：
θ0, θ1
损失函数：

目标：



其损失函数：

梯度下降

梯度下降的思想：
条件：我们有一个J（theta0，theta1）
目标：让J（theta0，theta1）最小
步骤：
1.初始化theta0，theta1。
2.持续该变theta0，theta1的值，让J（theta0，theta1）越来越小。
3.直到得到一个J（theta0，theta1的最小值）

梯度下降算法：
重复执行直到收敛：

(for j=0 and j=1)
同步更新：




非同步更新：




梯度下降中，无论斜率正或者负，梯度下降都会逐渐趋向最小值。

问：假设theta已经在最低点了，会怎样？
答：如果遇见存在有多个最低点的函数段，在到达第一个函数最低点时，就不会再上升了，就会停留在该局部最低点。

梯度下降的局部最小值问题：

并不是所有的损失函数看起来都像是一个漂亮的碗，有的可能像山洞、山脉、高原或者各种不规则的地形，导致很难收敛到最小值。
比如上图，如果随机初始值从左侧起步，那么会收敛到一个局部最小值，而不是全局最小值；如果算法从右侧起步，那么需要经过很长时间才能越过正整片高原。如果你停下得太早，将永远达不到全局最小值

如何应对梯度下降的局部最小值问题：

答：
1.对于MSE来说，因为损失函数是个凸函数，所以不存在局部最小值，只有一个全局最小值
2. 通过随机初始化θ，可以避开局部最小值
3. 对于多变量，高维度的值，就算在某个维度上陷入和局部最小值，但是还能从别的维度跳出

我们把梯度下降扩展到2维：
扩展到2维以后，只要我们知道在每一个维度（分量）上的梯度下降情况，通过向量加和，我们也可以得到梯度在高维上整体的移动情况

在上式中，如果alfa太小的话，梯度下降会很慢，如果太大，下降过程中则会越国最小值，不仅不会收敛，而且有可能发散
（alfa被称为学习率，或者步长）

即使学习率alfa是固定不变的，梯度下降也会收敛到一个最低点。因为随着梯度下降迭代次数的递增，斜率会趋于平缓，也就是说，倒数部分会慢慢变小。

在处理一些多维度，数据差异较大的样本中，需要将数据进行归一化处理，才能保证数据预测过后具有较高的准确性。

梯度下降分类

1.批梯度下降：指的是每下降一步，使用所有的训练集来计算梯度值。
2.随机梯度下降：指的是每下降一步，使用一条训练集来计算梯度值。
3.Mini-Batch梯度下降：指的是每下降一步，使用一部分的训练集来计算梯度值。

梯度下降实例

练习1 – 利用批梯度下降做线性回归的预测
代码实现：

X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)
X_b = np.c_[np.ones((100, 1)), X]
# print(X_b)

learning_rate = 0.1
# 通常在做机器学习的时候，一般不会等到他收敛，因为太浪费时间，所以会设置一个收敛次数
n_iterations = 1000
m = 100

# 1.初始化theta， w0...wn
theta = np.random.randn(2, 1)
count = 0

# 4. 不会设置阈值，之间设置超参数，迭代次数，迭代次数到了，我们就认为收敛了
for iteration in range(n_iterations):
    count += 1
    # 2. 接着求梯度gradient
    gradients = 1/m * X_b.T.dot(X_b.dot(theta)-y)
    # 3. 应用公式调整theta值， theta_t + 1 = theta_t - grad * learning_rate
    theta = theta - learning_rate * gradients

print(count)
print(theta)