机器学习笔记（二）：回归分析

线性模型

1、基本形式

给定由 d个属性描述的示例 x= (x₁; x₂;…;x_d ) 其中均是 在第 i个属性上的取值，线性模型(linear model) 试图学得一个通过属性的线性组合来进行预测的函数，即

一般用向量形式写成

其中 ω=(ω₁ ;ω₂;…;ω_d) ω 和 d 学得之后，模型就得以确定。

线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想.许多功能更为强大的非线性模型
(nonlinear model) 可在线性模型的基础上通过引入层级结构或高维映射而得.此外，由于 直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释’性 (comprehensibility) .

形式简单，易于建模
蕴含机器学习的基本思想
是其他非线性模型的基础
权重体现出各属性重要性，可解释性强

2、线性回归

均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化

在线性回归中，最小乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小.

sklearn.linear_model中的LinearRegression可实现线性回归
LinearRegression 的构造方法：

LinearRegression(
fit_intercept=True, #默认值为 True，表示 计算随机变量，False 表示不计算随机变量  
normalize=False, #默认值为 False，表示在回归前是否对回归因子X进行归一化True 表示,
copy_X=True
)

LinearRegression 的常用方法有：

decision_function(X) #返回 X 的预测值 y
fit(X,y[,n_jobs]) #拟合模型
get_params([deep]) #获取 LinearRegression 构造方法的参数信息
predict(X) #求预测值 #同 decision_function

3、回归练习

使用Python实现下面输入与输出的线性回归

输入：[[0, 0], [1, 1], [2, 2]]——两个输入
输出：[0, 1, 2]
预测：[3, 3]

from sklearn.linear_model import LinearRegression
clf = LinearRegression()
clf.fit([[0,0],[1,1]