Ensemble Learning------基本的回归模型

Ensemble Learning----基本的回归模型
上一次有点没说完。
聚类是无监督学习的一种，比如我们常见的k-means算法，不给出因变量，对自变量的取值进行聚类。
回归是监督学习的一种方法，包含的内容非常多，比较基础的是线性回归，当线性回归不能解决问题时将线性回归的每个变量增加次数，成为多项式回归，如果将每个变量变成多项式，就成为了广义可加模型（GAM）。另外决策树、SVM（支持向量机）都是回归问题的解决方法。

from sklearn import datasets
boston=datasets.load_boston() #返回一个类似字典的类
X=boston.data
y=boston.target
features=boston.feature_names
boston_data=pd.DataFrame(X,columns=features)
boston_data["Price"]=y
boston_data.head()

使用的是sklearn里面的boston()数据集，Price是因变量，我们就要通过另外的自变量对房价进行回归。

使用基本的线性回归模型对房价进行回归，看模型的判定系数是多少。

使用线性回归模型

from sklearn import linear_model#引入线性回归方法
lin_reg=linear_model.LinearRegression()
lin_reg.fit(X,y)
print("模型系数",lin_reg.coef_)
print("模型得分",lin_reg.score(X,y))#输出模型的决定系数R^2

得到结果：
模型系数 [-1.08011358e-01 4.64204584e-02 2.05586264e-02 2.68673382e+00
-1.77666112e+01 3.80986521e+00 6.92224640e-04 -1.47556685e+00
3.06049479e-01 -1.23345939e-02 -9.52747232e-01 9.31168327e-03
-5.24758378e-01]
模型得分 0.7406426641094094

线性模型的推广

多项式函数，体现非线性关系

from sklearn.preprocessing import PolynomialFeatures
X_arr=np.arange(6).reshape(3,2)
print("原始X为： \n",X_arr)

poly=PolynomialFeatures(2)
print("2次转化X：\n",poly.fit_transform(X_arr))

poly=PolynomialFeatures(interaction_only=True)#是否只包含交互项
print("2次转化：\n",poly.fit_transform(X_arr))

GAM模型
gam = LinearGAM(intercept + s(0) + s(1) + f(2)+……).fit(X, y）

from pygam import LinearGAM
gam=LinearGAM().fit(boston_data[boston.feature_names],y)
# gam = LinearGAM(intercept + s(0) + s(1) + f(2)+……).fit(X, y）
gam.summary()