adaboost.py

# importing necessary libraries
import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import AdaBoostRegressor
# Create the dataset
rng=np.random.RandomState(1)
#此命令将会产生一个随机状态种子，例如：该状态设置为1，
#在该状态下生成的随机序列（正态分布）一定会有相同的模式。
# 但是，不同的随机种子状态将会有不同的数据生成模式。
# 这一特点在随机数据生成的统计格式控制显得很重要。
X=np.linspace(0,6,100)[:,np.newaxis]
#np.newaxis的作用就是在这一位置增加一个一维，
# 这一位置指的是np.newaxis所在的位置
# [[1], [2], ]
y = np.sin(X).ravel() + np.sin(6 * X).ravel() + rng.normal(0, 0.1, X.shape[0])
#X.shape[0]=100
#ravel()将多维数组降位一维.numpy.ravel()返回的是视图,会影响（reflects）原始矩阵。
# Fit regression model
regr_1=DecisionTreeRegressor(max_depth=4)
regr_2=AdaBoostRegressor(DecisionTreeRegressor(max_depth=4),n_estimators=300)
regr_1.fit(X,y)
regr_2.fit(X,y)

# Predict
y_1=regr_1.predict(X)
y_2 = regr_2.predict(X)
# Plot the results
plt.figure()
plt.scatter(X,y,c="k",label="training samples")
plt.plot(X,y_1,c="g",label="n_estimators=1",linewidth=2)
plt.plot(X,y_1,c="r",label="n_estimators=300",linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Boosted Decision Tree Regression")
plt.legend()
plt.show()