阅读目录
线性模型
1、基本形式
给定由 d个属性描述的示例 x= (x1; x2;…;xd ) 其中均是 在第 i个属性上的取值,线性模型(linear model) 试图学得一个通过属性的线性组合来进行预测的函数,即
一般用向量形式写成
其中 ω=(ω1 ;ω2;…;ωd) ω 和 d 学得之后,模型就得以确定。
线性模型形式简单、易于建模,但却蕴涵着机器学习中一些重要的基本思想.许多功能更为强大的非线性模型
(nonlinear model) 可在线性模型的基础上通过引入层级结构或高维映射而得.此外,由于 直观表达了各属性在预测中的重要性,因此线性模型有很好的可解释’性 (comprehensibility) .
形式简单,易于建模
蕴含机器学习的基本思想
是其他非线性模型的基础
权重体现出各属性重要性,可解释性强
2、线性回归
均方误差是回归任务中最常用的性能度量,因此我们可试图让均方误差最小化
在线性回归中,最小乘法就是试图找到一条直线,使所有样本到直线上的欧氏距离之和最小.
sklearn.linear_model中的LinearRegression可实现线性回归
LinearRegression 的构造方法:
LinearRegression(
fit_intercept=True, #默认值为 True,表示 计算随机变量,False 表示不计算随机变量
normalize=False, #默认值为 False,表示在回归前是否对回归因子X进行归一化True 表示,
copy_X=True
)
LinearRegression 的常用方法有:
decision_function(X) #返回 X 的预测值 y
fit(X,y[,n_jobs]) #拟合模型
get_params([deep]) #获取 LinearRegression 构造方法的参数信息
predict(X) #求预测值 #同 decision_function
3、回归练习
使用Python实现下面输入与输出的线性回归
输入:[[0, 0], [1, 1], [2, 2]]——两个输入
输出:[0, 1, 2]
预测:[3, 3]
from sklearn.linear_model import LinearRegression
clf = LinearRegression()
clf.fit([[0,0],[1,1]