吴恩达机器学习课程CODE1：线性回归算法（应用平方误差与梯度下降）

1.线性回归问题课程笔记

1）简单介绍

线性回归问题需要有一个真实的直线来对给定x求出y，但现在我们不知道这条直线，需要根据训练集去拟合一条无限逼近这条真实直线的直线，以用于预测。
如图根据训练集，力求得到一条可以拟合尽量多点的直线：

2）公式表示

假设函数：$h_{\theta }(x^{(i)})={\theta }_0+{\theta }_{1}x$
${\theta }_0,{\theta }_1$是其的两个参数，即待求的两个参数

代价函数（损失函数）：$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$
应用平方误差代价函数(Squared error function --解决回归问题常用的手段)

目标： $minimiz{e}_{{\theta }_0,{\theta }_1}J({\theta }_0,{\theta }_1)$ ------最小化损失函数J

3）梯度下降

最小化损失函数可应用梯度下降算法解决。
取某一个参数如${\theta }_1$，把损失函数看做$J({\theta }_1)$，则该曲线如图：

根据梯度下降算法使结果收敛到（1,0）点（当前点在该点左边则$\theta$加上某个值，小步向$J(\theta )$最小点（1,0）靠近；当前点在该点右边则$\theta$减去某个值，小步向$J(\theta )$最小点（1,0）靠近）
即$\theta =0$时，$J(\theta )$取最小值，即实现目标，此$\theta =1$即为所求。

梯度下降算法描述如下：
r e p e a t   u t i l   c o n v e r g e n c e { repeat\ util\ convergence\{ repeat util convergence{
${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_0,{\theta }_1)$
$(forj=0andj=1)$
$\}$

将上一部分的$J({\theta }_0,{\theta }_1)$代入，求偏导该梯度下降可写为：
r e p e a t   u t i l   c o n v e r g e n c e { repeat\ util\ convergence\{ repeat util convergence{
${\theta }_0:={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$
${\theta }_1:={\theta }_1-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x^{(i)}$

$\}$
（下一部分代码实现主要应用这两个公式，使$\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$无限趋近于0作为循环终止条件，即$J(\theta )$导数值趋近于0、$\theta$的变化极小）

注： 所有参数同步更新（simultaneous update ------梯度下降中一种最常用的方法），即
$temp0:={\theta }_0-\alpha \frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)$
$temp1:={\theta }_1-\alpha \frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)$
${\theta }_0=temp0$
${\theta }_1=temp1$

2.代码实现

1）获得回归模型

import pandas as pd
import numpy as np

dataset = pd.read_csv('./datasetsxy.csv')
col = dataset.columns.values.tolist()  # 把每一列转换成一个list
datax = np.array(dataset[col[0]])
datay = np.array(dataset[col[1]])

m = len(datax)  # the number of samples

a = 0.001  # 学习率初始化为0.001
b0 = 0
b1 = 1
while (1):
    # 此处为梯度下降算法
    sum0 = 0
    sum1 = 0
    for i in range(m):  
        sum0 = sum0 + (b0 + b1 * datax[i] - datay[i])
        sum1 = sum1 + (b0 + b1 * datax[i] - datay[i]) * datax[i]
    Jsum0 = (1 / m) * sum0  # J（θ）的导数
    Jsum1 = (1 / m) * sum1
    
    c0 = (Jsum0 < 0.001)  # 导数接近0时，也可以理解为循环到θ值变化很小时
    c1 = (Jsum1 < 0.001)
    if c0 & c1:
        break

    b0 = b0 - a * Jsum0
    b1 = b1 - a * Jsum1

print('y = ' ,b1 ,'x+', b0)

2）点和线（第一部分第一个图）

dataset = pd.read_csv('./datasetsxy.csv')
col = dataset.columns.values.tolist()
datax = np.array(dataset[col[0]])
datay = np.array(dataset[col[1]])

plt.ion()
fig = plt.figure()
ax1 = fig.add_subplot(1, 1, 1)
ax1.set_title('Result Analysis')
ax1.set_xlabel('x')
ax1.set_ylabel('y')
plt.xlim(xmax=10, xmin=0)
ax1.scatter(datax, datay, s=20, c='k', marker='X', label='Training Data')  # 画点
ax1.plot(datax, datax, 'r', label='Prediction')  # 画线
ax1.legend(loc=2)  # 标注点线等的含义
plt.show()
plt.waitforbuttonpress()

3）二次曲线（第一部分第二个图）

plt.ion()
fig = plt.figure()
ax1 = fig.add_subplot(1, 1, 1)
ax1.set_title('Result Analysis')
ax1.set_xlabel('θ')
ax1.set_ylabel('J(θ)')
plt.xlim(xmax=2, xmin=0)
plt.ylim(ymax=2.6, ymin=0)
x = np.arange(0, 3, 0.05)
ax1.plot(x, 2*x*x-4*x+2)
plt.show()
plt.waitforbuttonpress()

---

欢迎讨论>_<