Stanford机器学习 -- 对Linear Regression 的补充

Linear Regression的步骤

初始化 parameters θi (i = 0 ,1,……,n）
选择α（学校速率，可以尝试不同的值找到最合适的）
1.设计Cost Function

2.对代价函数求导数

循环（最终循环结束的条件）：
For循环（对每个参数进行更新）：

循环结束的条件：指定一个最小更新误差，每次循环完成后计算误差函数J更新后和更新前的误差，如果小于最小更新误差停止循环。也可以自己设置一个足够大的值。

vertorization(向量化）

这是按照Andrew Ng的思路写成的，只是为了编写程序方便，具体用了什么数学知识，也不太懂。

实现代码

.1 python
1.第一种实现用梯度下降法：

from numpy import *
import matplotlib.pyplot as plt 
import numpy as np

def Gd_algorithm( alpha ):

    dataMat =  array([[1,2],[1,4],[1,5],[1,1],[1,6]])
    labelMat = array([2.1,3.5,5.3,0.9,6.1])
    weights = ones((shape(dataMat)[1] , 1)) 

    err_inf = inf
    flag = True

    while  flag :
        flag = False
        error = dot(dataMat , weights).T[0] - labelMat.T
        #print error

        err_sum_new = sum(error ** 2)
        if err_sum_new < err_inf:
            err_inf = err_sum_new
            flag = True
        else:
            break

        for i in range(shape(weights)[0]):
            weights[i] = weights[i] - alpha * (1.0/shape(dataMat)[0]) * dot(error , dataMat.T[i])

    print weights

    plt.scatter(dataMat.T[1] , labelMat)
    x = dataMat.T[1]
    y = weights[0] + weights[1]* x
    plt.plot(x,y)
    plt.show()  

2用向量化代码编写

from numpy import *
import matplotlib.pyplot as plt 
import numpy as np

def Gd_algorithm( alpha ):

    dataMat =  array([[1,2],[1,4],[1,5],[1,1],[1,6]])
    labelMat = array([[2.1],[3.5],[5.3],[0.9],[6.1]])
    weights = ones((shape(dataMat)[1] , 1))

    err_inf = inf
    flag = True

    while  flag :
        flag = False
        error = dot(dataMat , weights) - labelMat

        err_sum_new = sum(array(error) ** 2)
        if err_sum_new < err_inf:
            err_inf = err_sum_new
            flag = True
        else:
            break

        weights = weights - alpha * (1.0/shape(dataMat)[0]) * dot(dataMat.T , error)

    print weights

    plt.scatter(dataMat.T[1] , labelMat)
    x = dataMat.T[1]
    y = weights.tolist()[0][0] + weights.tolist()[1][0]* x
    plt.plot(x,y)
    plt.show()

运行结果：


可以试一下不同的alpha用的时间不太一样。

3用公式计算权重

from numpy import *
import matplotlib.pyplot as plt 
import numpy as np

def algorithm():

    dataMat =  array([[1,2],[1,4],[1,5],[1,1],[1,6]])
    labelMat = array([[2.1],[3.5],[5.3],[0.9],[6.1]])
    weights = ones((shape(dataMat)[1] , 1))

    weights = dot(dot(linalg.inv(dot(dataMat.T , dataMat)) , dataMat.T) , labelMat)

    print weights

    plt.scatter(dataMat.T[1] , labelMat)
    x = dataMat.T[1]
    y = weights.tolist()[0][0] + weights.tolist()[1][0]* x
    plt.plot(x,y)
    plt.show()

优点：简单，一行代码搞定
缺点：当数据集样本很大时，计算会变慢，而且，有时候linalg.inv(dataMat.T,dataMat) 不一定能求出来。
这个运行的结果和上面差不多。

关于梯度下降和梯度上升的说明

下面是在有些书中用到的梯度上升法求导数的最优解。

这是在Andrew Ng用的梯度下降法求最优解。

可以看到这两中方法其实是一个公式的两种不同叫法，他们背后的数学含其实是一样的。在使用时注意就OK了，数学含义以后明白了再补。

代码写的很烂，请各位大神不吝赐教！！