scikit-learn中文文档-学习笔记二-广义线性模型

机器学习
1.广义线性模型（Generalized Linear Model）
该方法用于回归， 该目标值是输入变量的线性组合， y’是预测值。
y’(w, x) = w0 + w1x1 + w2x2 + …… + wpxp
在模块中，使用coef_代表向量(w1, w2, …, wp)， 使用intercept_代表w0.
该模型一般在逻辑回归中使用

2.普通最小二乘法（Ordinary Least Squares）
在线性回归(LinearRegression)类来拟合系数为w = (w1, w2, …, wp)的线性模型时，我们使得样本集中观测点和线性近似的预测点之间的残差平方和（最小二乘法）最小化来选择最优的直线。
即满足如下图：

LinearRegression类的训练函数fit()以X和y作为输入，将系数w存入coef_中。

from sklearn import linear_model
reg = linear_model.LinearRegression()
reg.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2]) # 训练
reg.coef_
# 结果
array([ 0.5,  0.5])
reg.intercept_
2.22044604925e-16

复杂度
该方法通过对X进行 singular value decomposition ( 奇异值分解 ) 来计算最小二乘法的解。如果 X 是大小为(n