线性回归学习笔记

线性回归笔记：
首先对于一维线性回归较为简单，拟合直线可以表示为y’ = ax+b，求解变量为a和b，为了衡量直线拟合程度的好坏，构建损失函数，J = 求和运算（y’ - y)^2 ，该式是一个关于a与b的凸函数，即J= f(a,b)，要求这个凸函数的最小值，可以有两种方式，分别为梯度下降法和最小二乘法。
最小二乘法：
使平方和最小的方法称为最小二乘法，对于一维线性回归而言，使J最小即求其导数为零的点即可，因此分别求J与a,b的偏导数，令偏导数为零，分别求出a，b关于x与y的表达式，x与y均已知，因此求出最小化J的a与b值
梯度下降法：
梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。
我们同时可以假设这座山最陡峭的地方是无法通过肉眼立马观察出来的，而是需要一个复杂的工具来测量，同时，这个人此时正好拥有测量出最陡峭方向的能力。所以，此人每走一段距离，都需要一段时间来测量所在位置最陡峭的方向，这是比较耗时的。那么为了在太阳下山之前到达山底，就要尽可能的减少测量方向的次数。这是一个两难的选择，如果测量的频繁，可以保证下山的方向是绝对正确的，但又非常耗时，如果测量的过少，又有偏离轨道的风险。所以需要找到一个合适的测量方向的频率，来确保下山的方向不错误，同时又不至于耗时太多！

梯度下降

梯度下降的基本过程就和下山的场景很类似。

首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向(在后面会详细解释)
所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。那么为什么梯度的方向就是最陡峭的方向呢？接下来，我们从微分开始讲起

微分

看待微分的意义，可以有不同的角度，最常用的两种是：

1. 函数图像中，某点的切线的斜率
2. 函数的变化率
   几个微分的例子：
   
   上面的例子都是单变量的微分，当一个函数有多个变量的时候，就有了多变量的微分，即分别对每个变量进行求微分
   

梯度

梯度实际上就是多变量微分的一般化。
下面这个例子：

我们可以看到，梯度就是分别对每个变量进行微分，然后用逗号分割开，梯度是用<>包括起来，说明梯度其实一个向量。

梯度是微积分中一个很重要的概念，之前提到过梯度的意义

1. 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
2. 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点！

梯度下降算法的数学解释

上面我们花了大量的篇幅介绍梯度下降算法的基本思想和场景假设，以及梯度的概念和思想。下面我们就开始从数学上解释梯度下降算法的计算过程和思想！
此公式的意义是：J是关于Θ的一个函数，我们当前所处的位置为Θ0点，要从这个点走到J的最小值点，也就是山底。首先我们先确定前进的方向，也就是梯度的反向，然后走一段距离的步长，也就是α，走完这个段步长，就到达了Θ1这个点！
下面就这个公式的几个常见的疑问：
1.α是什么含义？
α在梯度下降算法中被称作为学习率或者步长，意味着我们可以通过α来控制每一步走的距离，以保证不要步子跨的太大扯着蛋，哈哈，其实就是不要走太快，错过了最低点。同时也要保证不要走的太慢，导致太阳下山了，还没有走到山下。所以α的选择在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的话，可能导致迟迟走不到最低点，太大的话，会导致错过最低点！
2.为什么要梯度要乘以一个负号？
梯度前加一个负号，就意味着朝着梯度相反的方向前进！我们在前文提到，梯度的方向实际就是函数在此点上升最快的方向！而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，所以此处需要加上负号

梯度下降算法的实例

我们已经基本了解了梯度下降算法的计算过程，那么我们就来看几个梯度下降算法的小实例，首先从单变量的函数开始

单变量函数的梯度下降

我们假设有一个单变量的函数

函数的微分

初始化，起点为

学习率为

根据梯度下降的计算公式

我们开始进行梯度下降的迭代计算过程：

如图，经过四次的运算，也就是走了四步，基本就抵达了函数的最低点，也就是山底

多变量函数的梯度下降

我们假设有一个目标函数

现在要通过梯度下降法计算这个函数的最小值。我们通过观察就能发现最小值其实就是 (0，0)点。但是接下来，我们会从梯度下降算法开始一步步计算到这个最小值！
我们假设初始的起点为：

初始的学习率为：

函数的梯度为：

进行多次迭代：

我们发现，已经基本靠近函数的最小值点

最小二乘法与梯度下降区别

最小二乘法只能用于线性回归求解，但梯度下降可以用于几乎所有凸函数的求解问题

原始代码：

import matplotlib.pyplot as plt
import numpy as np

#构建数据
points_num = 100
vectors = []
for i in range(points_num):
	x1 = np.random.normal(0.0,0.66)
	y1 = 0.1 * x1 + 0.8 + np.random.normal(0.0,0.06)
	vectors.append ([x1,y1])

x_data = [v[0] for v in vectors]
y_data = [v[1] for v in vectors]


#构建代价函数
def cost_function(a,b,x_label,y_label):
    cost = 0
    m = 100
    for x,y in zip( x_label,y_label):
        cost += (a * x + b - y) **2
    cost = cost / (2 * m)
    return cost

#a偏导计算
def function_a(a,b,x_label,y_label):
    sum = 0
    m = 100
    for x,y in zip(x_label,y_label):
        sum += (a * x + b - y) * x
    sum = sum / m
    return sum

#b偏导计算
def function_b(a,b,x_label,y_label):
    sum = 0
    m = 100
    for x,y in zip(x_label,y_label):
        sum += a * x + b - y
    sum = sum / m
    return sum

#梯度下降
def gradient_descent(a,b,axis):
    for i in range(1000):
        targ1 = function_a(a,b,x_data,y_data)
        targ2 = function_b(a,b,x_data,y_data)
        temp0 = a - axis * targ1
        temp1 = b - axis * targ2 
        a = temp0
        b = temp1
    return a,b

a,b = gradient_descent(0,0,0.1)
print(a,b)
y1_data = []
for x in x_data:
    y = a * x + b
    y1_data.append(y)
    
plt.plot(x_data,y_data,'r*')
plt.plot(x_data,y1_data,label = "Fitted Line") 
plt.show()

采用波士顿房价例子的代码：

from sklearn import datasets
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt


#加载数据
boston_data = datasets.load_boston()
boston_data_x = boston_data.data
boston_data_y = boston_data.target
boston_data_label = ['城镇人均犯罪率','住宅面积','城镇中非商业用地比例','环保指标','城镇中黑人比例']

#划分数据集
train_x,test_x,train_y,test_y = train_test_split(boston_data_x,boston_data_y,test_size = 0.2,random_state = 3)

#建立模型
linear = LinearRegression()
#拟合模型
linear.fit(train_x,train_y)

i = 68
train_score = linear.score(train_x, train_y)
print(train_score)
print('预测价格',linear.predict(test_x)[i])
print('真实价格',test_y[i])

#建立可视化模型
def plot_linear(linear,x,y,feat):
    w = linear.coef_
    b = linear.intercept_
    y_datas = []
    for i in x:
        y_data = w*i + b
        y_datas.append(y_data)
    plt.figure
    plt.scatter(x,y,alpha = 0.5)
    plt.plot(x,y_datas,c = 'red')
    plt.title(feat)
    plt.show()
    return w,b

#取测试集中某一特征的数据
def get_feature_data(test_x,i):
    feature_data = [x[i] for x in test_x]
    return feature_data


feature_data = get_feature_data(test_x,0)
w,b = plot_linear(linear,feature_data,test_y,'城镇犯罪率')
print(len(w))
print(len(test_x))

在sklearn中的简便采用线性回归的例子：

from sklearn import datasets
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

#加载数据
boston_data = datasets.load_boston()
boston_data_x = boston_data.data
boston_data_y = boston_data.target

#划分数据集
train_x,test_x,train_y,test_y = train_test_split(boston_data_x,boston_data_y,test_size = 0.2,random_state = 3)

#建立模型
liner = LinearRegression()
#拟合模型
liner.fit(train_x,train_y)

train_score = model.score(X_train, y_train)
print(train_score)