2.线性回归

1.线性回归原理

定义：线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归。

最小二乘损失函数：

线性回归常用的两种优化算法
（1）正规方程

（2）梯度下降


梯度下降方法介绍
（1）全梯度下降（FG）
计算训练集所有样本误差，对其求和再取平均值作为目标函数。权重向量沿其梯度相反的方向移动，从而使当前目标函数减少得最多。因为在执行每次更新时，需要在整个数据集上计算所有的梯度，所以全梯度下降法的速度会很慢，同时，全梯度下降法无法处理超出内存容量限制的数据集。

（2）随机梯度下降（SG）
每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降或损失函数值小于某个可以容忍的阈值。
此过程简单，高效，通常可以较好地避免更新迭代收敛到局部最优解。其迭代形式为

由于SG每次只使用一个样本迭代，若遇上噪声则容易陷入局部最优解。

（3）小批量梯度下降算法（mini-batch）
小批量梯度下降算法是FG和SG的折中方案,在一定程度上兼顾了以上两种方法的优点。每次从训练样本集上随机抽取一个小样本集，在抽出来的小样本集上采用FG迭代更新权重。被抽出的小样本集所含样本点的个数称为batch_size，通常设置为2的幂次方，更有利于GPU加速处理。特别的，若batch_size=1，则变成了SG；若batch_size=n，则变成了FG.其迭代形式为

（4）随机平均梯度下降算法（SAG）
在SG方法中，虽然避开了运算成本大的问题，但对于大数据训练而言，SG效果常不尽如人意，因为每一轮梯度更新都完全与上一轮的数据和梯度无关。随机平均梯度算法克服了这个问题，在内存中为每一个样本都维护一个旧的梯度，随机选择第i个样本来更新此样本的梯度，其他样本的梯度保持不变，然后求得所有梯度的平均值，进而更新了参数。如此，每一轮更新仅需计算一个样本的梯度，计算成本等同于SG，但收敛速度快得多。

2.api调用

sklearn.linear_model.LinearRegression()
通过正规方程优化
fit_intercept：是否计算偏置
LinearRegression.coef_：回归系数
LinearRegression.intercept_：偏置

sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01)
SGDRegressor类实现了随机梯度下降学习，它支持不同的loss函数和正则化惩罚项来拟合线性回归模型。
loss:损失类型
loss=”squared_loss”: 普通最小二乘法
fit_intercept：是否计算偏置
learning_rate : string, optional
学习率填充
‘constant’: eta = eta0
‘optimal’: eta = 1.0 / (alpha * (t + t0)) [default]
‘invscaling’: eta = eta0 / pow(t, power_t)
power_t=0.25:存在父类当中
对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。
SGDRegressor.coef_：回归系数
SGDRegressor.intercept_：偏置

岭回归,即在线性回归的代价函数中加正则项
api：
sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=“auto”, normalize=False)
具有l2正则化的线性回归
alpha:正则化力度，也叫 λ
λ取值：0~1 1~10
solver:会根据数据自动选择优化方法
sag:如果数据集、特征都比较大，选择该随机梯度下降优化
normalize:数据是否进行标准化
normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据
Ridge.coef_:回归权重
Ridge.intercept_:回归偏置

Ridge方法相当于SGDRegressor(penalty=‘l2’, loss=“squared_loss”),
只不过SGDRegressor实现了一个普通的随机梯度下降学习，推荐使用Ridge(实现了SAG)
sklearn.linear_model.RidgeCV(BaseRidgeCV, RegressorMixin)
具有l2正则化的线性回归，可以进行交叉验证
coef:回归系数

**示例：**波士顿房价预测

from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression,SGDRegressor, Ridge, RidgeCV
from sklearn.metrics import mean_squared_error


def liner_model1():
    """
    线性回归：正规方程
    :return:
    """
    # 获取数据
    boston = load_boston()

    #  数据集划分
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2, random_state=22)

    # 特征标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 线性回归（正规方程）
    estimator = LinearRegression()
    estimator.fit(x_train, y_train)

    # 模型评估
    # 获取参数
    y_predict = estimator.predict(x_test)
    print('预测值：', y_predict)
    print('模型系数：', estimator.coef_)
    print('模型偏置为：', estimator.intercept_)

    # 评价
    # 准确率
    score = estimator.score(x_test, y_test)
    print('准确率：', score)
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print('误差：', error)


def linear_model2():
    """
    线性回归：梯度下降法
    :return:
    """
    # 获取数据
    boston = load_boston()
    # 数据划分
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2, random_state=22)

    # 数据标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 线性回归（梯度下降）
    estimator = SGDRegressor(max_iter=1000, learning_rate="constant", eta0=0.001)
    estimator.fit(x_train, y_train)

    # 获取参数
    y_predict = estimator.predict(x_test)
    print('预测值：', y_predict)
    print('模型系数：', estimator.coef_)
    print('模型偏置为：', estimator.intercept_)

    # 评价
    # 准确率
    score1 = estimator.score(x_train, y_train)
    score = estimator.score(x_test, y_test)
    print('准确率：', score1, score)
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print('误差：', error)

ef linear_model3():
    """
    岭回归
    :return:
    """
    # 获取数据
    boston = load_boston()
    # 数据划分
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2, random_state=22)

    # 数据标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 岭回归
    # estimator = Ridge(alpha=1)
    estimator = RidgeCV(alphas=(0.1, 1, 10))
    estimator.fit(x_train, y_train)

    # 获取参数
    y_predict = estimator.predict(x_test)
    print('预测值：', y_predict)
    print('模型系数：', estimator.coef_)
    print('模型偏置为：', estimator.intercept_)

    # 评价
    # 准确率
    score1 = estimator.score(x_train, y_train)
    score = estimator.score(x_test, y_test)
    print('准确率：', score1, score)
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print('误差：', error)

if __name__ == '__main__':
    # liner_model1()
    #linear_model2()
    linear_model3()

3.过拟合和欠拟合、正则化

欠拟合原因以及解决办法
原因：学习到数据的特征过少
解决办法：
1）添加其他特征项，有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。例如，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段。
2）添加多项式特征，在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。
过拟合原因以及解决办法
原因：原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点
解决办法：
1）重新清洗数据，导致过拟合的一个原因也有可能是数据不纯导致的，如果出现了过拟合就需要我们重新清洗数据。
2）增大数据的训练量，还有一个原因就是我们用于训练的数据量太小导致的，训练数据占总数据的比例过小。
3）正则化
4）减少特征维度，防止维灾难

正则化：在学习的时候，数据提供的特征有些影响模型复杂度或者这个特征的数据点异常较多，所以算法在学习的时候尽量减少这个特征的影响（甚至删除某个特征的影响），这就是正则化。
L2正则化
作用：可以使得其中一些W的都很小，都接近于0，削弱某个特征的影响
优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象
Ridge回归
L1正则化
作用：可以使得其中一些W的值直接为0，删除这个特征的影响
LASSO回归

Ridge回归，即岭回归，是线性回归的正则化版本，在线性回归的损失函数中添加了L2正则项

Lasso回归在线性回归的损失函数中添加了L1正则项