我的机器学习之路-sklearn

1、广义线性回归
目标值 y 是输入变量 x 的线性组合。 数学概念表示为：如果y1 是预测值，那么有：

y(w, x) = w_0 + w_1 x_1 + … + w_p x_p

在整个模块中，我们定义向量 w = (w_1,…, w_p) 作为 coef_ ，定义 w_0 作为 intercept_
一元回归也叫做最小二乘法
使用 X 的奇异值分解来计算最小二乘解其复杂度为如果 X 是一个 size 为 (n, p) 的矩阵，设 n》p ，则该方法的复杂度为 O(n *p^2)
拟合一个带有系数 w = (w_1, …, w_p) 的线性模型，使得数据集实际观测数据和预测数据（估计值）之间的残差平方和最小。其数学表达式为:

loss(wi)=min{Xiwi- y1}^2（真实值与计算值的差值和的平方，损失函数最小时，即可求出回归函数）
做损失函数
代码实现如下：（一元线性回归）参考官方文档
from matplotlib import pyplot as plt
import numpy as np
from sklearn import datasets,linear_model
from sklearn.metrics import mean_absolute_error,r2_score
diabetes=datasets.load_diabetes() #获取糖尿病数据
diabetes_x=diabetes.data[:,np.newaxis,2]#只使用一种特征数据
diabetes_x_train=diabetes_x[:-20]
diabetes_x_test=diabetes_x[-20:]
diabetes_y_train=diabetes.target[:-20]
diabetes_y_test=diabetes.target[-20:]
regr=linear_model.LinearRegression()
regr.fit(diabetes_x_train,diabetes_y_train)
diabetes_y_pred=regr.predict(diabetes_x_test)
plt.scatter(diabetes_x_test,diabetes_y_test,color=‘black’)
plt.plot(diabetes_x_test,diabetes_y_pred,color=‘blue’,linewidth=3)
plt.show()
2、岭回归
Ridge 回归通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。 岭系数最小化的是带罚项的残差平方和，

其中， a>0 是控制系数收缩量的复杂性参数： a的值越大，收缩量越大，模型对共线性的鲁棒性也更强。

RidgeCV 通过内置的关于的 Alpha 参数的交叉验证来实现岭回归。 该对象与 GridSearchCV 的使用方法相同，只是它默认为 Generalized Cross-Validation(广义交叉验证 GCV)，这是一种有效的留一验证方法（LOO-CV）:
from sklearn import linear_model
reg=linear_model.Ridge(alpha=5)
reg.fit([[0,0],[0,0],[1,1]],[0,1,1])
print(reg.coef_)
reg=linear_model.RidgeCV(alphas=[0.1,1.0,10.0])
reg.fit([[0,0],[0,0],[1,1]],[0,1,1])
print(reg.intercept_)
3、

由于 Lasso 回归产生稀疏模型，因此可以用于执行特征选择，详见 基于 L1 的特征选取 。
4、线性和二次判别分析







支持向量机：

分类：