机器学习算法基础day9

1 线性回归

定义：线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合

一元线性回归：涉及到的变量只有一个

多元线性回归：涉及到的变量两个或两个以上

损失函数(误差大小)

 又称最小二乘法

减少损失函数方法一：最小二乘法之正规方程

减少损失函数方法二：最小二乘法之梯度下降

 sklearn线性回归正规方程API

sklearn.linear_model.LinearRegression

回归性能评估

 •sklearn.metrics.mean_squared_error

梯度下降API

sklearn.linear_model.SGDRegressor

 梯度下降和正规方程对比

 2  过拟合与欠拟合

过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)

欠拟合：一个假设在训练数据上不能获得更好的拟合， 但是在训练数据外的数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)

欠拟合原因以及解决办法：

原因：学习到数据的特征过少

解决办法：增加数据的特征数量

过拟合原因以及解决办法：

原因：原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点

解决办法：进行特征选择，消除关联性大的特征(很难做)

交叉验证(让所有数据都有过训练)

正则化(了解)

L2正则化

3 带有正则化的线性回归-Ridge   岭回归

• sklearn.linear_model. Ridge

 

 线性回归 LinearRegression与Ridge对比：

岭回归：回归得到的回归系数更符合实际，更可靠。另外，能让

估计参数的波动范围变小，变的更稳定。在存在病态数据偏多的研

究中有较大的实用价值。