岭回归基础知识及代码实现（sklearn）

 

import numpy as np
from numpy import genfromtxt
from sklearn import linear_model
import matplotlib.pyplot as plt

#读入数据
data=genfromtxt('lingRegression.csv',delimiter=',')
print(data)

data=
[[     nan      nan      nan      nan      nan      nan      nan      nan]
 [1947.      83.     234.289  235.6    159.     107.608 1947.      60.323]
 [1948.      88.5    259.426  232.5    145.6    108.632 1948.      61.122]
 [1949.      88.2    258.054  368.2    161.8    109.773 1949.      60.171]
 [1950.      89.5    284.599  335.1    165.     110.929 1950.      61.187]
 [1951.      96.2    328.975  209.9    309.9    112.075 1951.      63.221]
 [1952.      98.1    346.999  193.2    359.4    113.27  1952.      63.639]
 [1953.      99.     365.385  187.     354.7    115.094 1953.      64.989]
 [1954.     100.     363.112  357.8    335.     116.219 1954.      63.761]
 [1955.     101.2    397.469  290.4    304.8    117.388 1955.      66.019]
 [1956.     104.6    419.18   282.2    285.7    118.734 1956.      67.857]
 [1957.     108.4    442.769  293.6    279.8    120.466 1957.      68.169]
 [1958.     110.8    444.546  468.1    263.7    121.95  1958.      66.513]
 [1959.     112.6    482.704  381.3    255.2    123.368 1959.      68.655]
 [1960.     114.2    502.601  393.1    251.4    125.368 1960.      69.564]
 [1961.     115.7    518.173  480.6    257.2    127.852 1961.      69.331]
 [1962.     116.9    554.894  400.7    282.7    130.081 1962.      70.551]]

#切分数据
x_data=data[1:,2:]#第2行到最后一行，第第三列到最后一列
y_data=data[1:,1]#第2行到最后一行，第二列
print(x_data)
print(y_data)

out:

x_data=
[[ 234.289  235.6    159.     107.608 1947.      60.323]
 [ 259.426  232.5    145.6    108.632 1948.      61.122]
 [ 258.054  368.2    161.8    109.773 1949.      60.171]
 [ 284.599  335.1    165.     110.929 1950.      61.187]
 [ 328.975  209.9    309.9    112.075 1951.      63.221]
 [ 346.999  193.2    359.4    113.27  1952.      63.639]
 [ 365.385  187.     354.7    115.094 1953.      64.989]
 [ 363.112  357.8    335.     116.219 1954.      63.761]
 [ 397.469  290.4    304.8    117.388 1955.      66.019]
 [ 419.18   282.2    285.7    118.734 1956.      67.857]
 [ 442.769  293.6    279.8    120.466 1957.      68.169]
 [ 444.546  468.1    263.7    121.95  1958.      66.513]
 [ 482.704  381.3    255.2    123.368 1959.      68.655]
 [ 502.601  393.1    251.4    125.368 1960.      69.564]
 [ 518.173  480.6    257.2    127.852 1961.      69.331]
 [ 554.894  400.7    282.7    130.081 1962.      70.551]]
#真实值，和x_data有对应关系
y_data=[ 83.   88.5  88.2  89.5  96.2  98.1  99.  100.  101.2 104.6 108.4 110.8
 112.6 114.2 115.7 116.9]

#常见模型
#生成50个值
alphas_to_test=np.linspace(0.001,1)#作为勒木达的值默认是50个，可以自行设置
#RidgeCV岭回归交叉验证，用交叉验证测试alphas_to_test的50个值找到合适的值
#store_cv_values存储交叉验证得到的结果、

model=linear_model.RidgeCV(alphas=alphas_to_test,store_cv_values=True)
model.fit(x_data,y_data)

#岭系数，测试50个领系数后，得到较好的那个
print(model.alpha_)
#loss值
print(model.cv_values_.shape)#(16, 50)16个loss值，因为进行交叉验证，一共有16行数据，其中一行作为测试集。其余为训练集
#这样可以得到16组loss值，50指的是领系数有50个[[],[],[],[],[],[]]二维数组，16行，每一行50个数

out:
最好的岭回归系数：入=0.40875510204081633
(16, 50)

#画图
#领系数跟loss值的关系
plt.plot(alphas_to_test,model.cv_values_.mean(axis=0))
#选取领系数的位置
plt.plot(model.alpha_,min(model.cv_values_.mean(axis=0)),'ro')
plt.show()

入=0.40875510204081633时的损失函数的值

算法进行预测，x_data是第三行的数。真是值对应前边y_data的第三个数88.2，而预测值是88.111.，还是比较准确的

model.predict(x_data[2,np.newaxis])#x_data的带三行数据，是一维的，np.newaxis将其变为二维的，得到预测结果

array([88.11146219])