一、实验要求
在计算机上验证和测试最小二乘法和线性回归实验,sklearn的线性回归算法。
- 实验目的
1、掌握最小二乘法的原理
2、能够理解线性回归和多元线性回归算法;
3、掌握线性回归评价指标和多项式特征算法;
4、掌握KNN,贝叶斯,决策树和SVM如何进行线性回归
5、掌握逻辑回归分类算法
三、实验内容
实验步骤
- 请生成如下测试的回归数据。
import numpy as np
import matplotlib.pyplot as plt
x = np.linspace(-5,10.0,100)
y = x**3-8*x**2+np.random.rand(1,100)*100
plt.scatter(x,y)
Svm,无核函数
Svm,rbf
Svm,poly
Knn
贝叶斯
决策树
2.请参考线性回归.pdf,同时对比,线性回归,线性回归+多项式特征,以及KNN回归,贝叶斯回归,决策树回归和支持向量SVR回归,六个回归算法对步骤1中的样本数据的回归曲线的差异,哪个回归算法R方分数高(调用score函数)。
四、实验总结
由最后得分可知,回归算法中,线性svm加入rbf核函数的回归效果最好;
knn与决策树尚可,其他较为差劲。