20140409-Supervised learning- Generalized liner Models

  1.1.广泛线性模型(Gerneralized liner Models)

是要预测的值

我们把向量 命名 为coef_ ,  命名为 intercept_

1.1.1最普通的最小二乘法(Ordinary Least Squares)

线性回归 将自动运算数组X,y 把系数w存在线性模块的coef_中

 为w的计算公式

w的一组值是训练数据中各组X*w-y**2的值的总合最小的,表述不太清楚  靠理解了  他的example代码很nice  运行了就能懂是啥意思

>>> from sklearn import linear_model
>>> clf = linear_model.LinearRegression()
>>> clf.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
LinearRegression(copy_X=True, fit_intercept=True, normalize=False)
>>> clf.coef_
array([ 0.5,  0.5])

上诉代码的数学含义是 [0,1,2] 对应这[0,0],[1,1],[2,2]三组运算 ,前者是后者的运算结果 coef_的值是系数w  

eg:   0=0*0.5+0*0.5

1=1*0.5+1*0.5

2=2*0.5+2*0.5

coef_的值是我们的线性回归方法自动计算出来的 用来预测新的数据 比如 clf.predict([[9,9]])   那么它的结果就是 9*0.5+9*0.5=9  结果是array([9.])

上述的实验是在理想实验数据的环境下 如果数据集不是正态分布的 那么他的结果也会随之不是那么准确

1.1.1.1 最普通最小二乘法的时间复杂度,训练向量X的矩阵如果大小为size(n,p)  就如上X=[[0,0],[1,1],[2,2]] 那么他的矩阵大小就是(3,2)

时间复杂度 其中 n>=p.

我是觉得最小二乘法的线性回归 除非是数据密集.如果数据是稀松的,那么他的准确率似乎不高

1.1.2 Ridge Regression(脊状回归)

Ridge回归解决了一些关于Ordinary Least Squares的系数大小处罚的问题.

这里a>=0 ,它是一个复杂的系数控制收缩量:a的值越大,收缩量就越大,因此系数变成更有共线性.

1.1.2.1 脊状时间复杂度:和最小二乘法一样

1.1.2.2设置正则化参数:广义交叉验证

1.1.3拉索算法 (Lasso)

1.1.3.1设置正则化参数

1.1.3.1.1 使用交叉验证

1.1.3.1.2以信息为前提的基本模型

1.1.4 Elastic Net 弹性网

1.1.5 Multi-task Lasso 多任务拉索算法

1.1.6 Least Angle Regression 最小角度回归

1.1.7 LARS Lasso  LARS算法的Lasso

1.1.8 Orthogonal Matching Pursuit (OMP) 垂直匹配追踪

1.1.9 Bayasian Regression  贝叶斯回归算法

1.1.9.1 贝叶斯脊形回归

1.1.9.2 自动关联确定(ARD

1.1.10 逻辑回归

1.1.11 Stochastic Gradient Descent  随机斜率下降 (SGD)

1.1.12 Perceptron 感知机

1.1.13  Passive Aggressive Algorithms 被动的有上进心的算法