机器学习深入篇（二）——多项式回归源码实现

机器学习深入篇（二）——多项式回归源码实现

本篇接着上一篇说到的求解最小θ值，上篇使用梯度下降法，本篇使用正规方程计算。

一、代码实现

import numpy as np
#定义样本数据
x=[1,2104,5,1,45,1,1416,3,2,40,1,1534,3,2,30,1,852,2,1,36]
x=np.reshape(x,[4,5])

y = [460,232,315,178]
y=np.reshape(y,[4,1])

# 将数组数据转化为矩阵数据
# print(type(x))
x=np.mat(x)
# print(type(x))
# print(type(y))
y=np.mat(y)
# print(type(y))

#正规方程计算θ值=(x'*x)的逆*x'*y
def normal_equation(x, y, theta):
    x_trans = np.transpose(x)  # 得到x的转置
    xMulx_trans = np.dot(x_trans, x)  # x的转置与x相乘
    ivs_xMulx_trans = xMulx_trans.I  # 逆运算
    theta=np.dot(ivs_xMulx_trans,x_trans)
    theta=np.dot(theta,y)
    # print(xMulx_trans)
    # print(ivs_xMulx_trans)
    print(theta)
    return theta
theta=[0,0,0,0,0]
normal_equation(x,y,theta)

二、实验结果

三、小结

（1）梯度下降法需要运行很多次选择合适的学习率，需要不断迭代，找到最合适的迭代次数，以使得theta值最小；正规方程法不需要选择学习率，不需要迭代，不需要做特征放缩
（2）当样本量较大的时候，使用梯度下降法的效果要好，正规方程在这种情况下会很慢（10000±）