本文转自:http://www.shareditor.com/blogshow/?blogId=57
scikit-learn的线性回归模型都是通过最小化成本函数来计算参数的,通过矩阵乘法和求逆运算来计算参数。当变量很多的时候计算量会非常大,因此我们改用梯度下降法,批量梯度下降法每次迭代都用所有样本,快速收敛但性能不高,随机梯度下降法每次用一个样本调整参数,逐渐逼近,效率高,本节我们来利用随机梯度下降法做拟合
梯度下降法
梯度下降就好比从一个凹凸不平的山顶快速下到山脚下,每一步都会根据当前的坡度来找一个能最快下来的方向。随机梯度下降英文是Stochastic gradient descend(SGD),在scikit-learn中叫做SGDRegressor。样本实验
依然用上一节的房价样本
X = [[50],[100],[150],[200],[250],[300]]
y = [[150],[200],[250],[280],[310],[330]]
import matplotlib.pyplot as plt
from sklearn.linear_model import SGDRegressor
from sklearn.preprocessing import StandardScaler
plt.figure()#实例化作图变量
plt.title("SGD")
plt.xlabel('x')
plt.ylabel('y')
plt.grid(True)
X_scaler = StandardScaler()
y_scaler = StandardScaler()
X = [[50],[100],[150],[200],[250],[300]]
y = [[150],[200],[250],[280],[310],[330]]
X = X_scaler.fit_transform(X)
y = y_scaler.fit_transform(y)
X_test = [[40],[400]]#用来做最终效果测试
X_test = X_scaler.transform(X_test)
plt.plot(X,y,'k.')
model = SGDRegressor()
model.fit(X,y.ravel())
y_result = model.predict(X_test)
plt.plot(X_test,y_result,'g-')
plt.show()
效果图如下:
这里需要用StandardScaler来对样本数据做正规化,同时对测试数据也要做正规化
我们发现拟合出的直线和样本之间还是有一定偏差的,这是因为随机梯度是随着样本数量的增加不断逼近最优解的,也就是样本数量越多就越准确
优化效果
既然样本数多拟合的好,那么我们把已有的样本重复多次试一下,修改成如下
import matplotlib.pyplot as plt
from sklearn.linear_model import SGDRegressor
from sklearn.preprocessing import StandardScaler
plt.figure()#实例化作图变量
plt.title("SGD")
plt.xlabel('x')
plt.ylabel('y')
plt.grid(True)
X_scaler = StandardScaler()
y_scaler = StandardScaler()
X = [[50],[100],[150],[200],[250],[300],[50],[100],[150],[200],
[250],[300],[50],[100],[150],[200],[250],[300],[50],[100],
[150],[200],[250],[300],[50],[100],[150],[200],[250],[300],
[50],[100],[150],[200],[250],[300],[50],[100],[150],[200],
[250],[300],[50],[100]]
y = [[150],[200],[250],[280],[310],[330],[150],[200],[250],[280],
[310],[330],[150],[200],[250],[280],[310],[330],[150],[200],
[250],[280],[310],[330],[150],[200],[250],[280],[310],[330],
[150],[200],[250],[280],[310],[330],[150],[200],[250],[280],
[310],[330],[150],[200]]
X = X_scaler.fit_transform(X)
y = y_scaler.fit_transform(y)
X_test = [[40],[400]]#用来做最终效果测试
X_test = X_scaler.transform(X_test)
plt.plot(X,y,'k.')
model = SGDRegressor()
model.fit(X,y.ravel())
y_result = model.predict(X_test)
plt.plot(X_test,y_result,'g-')
plt.show()
这回靠谱了许多,实事上,如果再继续重复样本,效果会更逼近