机器学习基础第四节

误差平方和（最小二乘法）

机器学习： 算法 策略 优化

线性回归和k近邻 需要标准化？

38min 开始线性回归代码

回归性能评估  均方误差评价机制

线性回归 最为简单易用的回归模型，在不知道特征之间关系的前提下，可以首要选择线性回归

LinearRegression

SGDRegressor

回归评估API

sklearn.metrics.mean_squared_error

欠拟合原因：学习到的数据特征较少

解决办法：增加数据的特征数量

过拟合原因：原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾 各个测试数据点

解决办法：进行特征选择，消除关联性大的特征(很难做) 

交叉验证(让所有数据都有过训练) 正则化(了解)

如果在训练集验证集表现比较好，测试集表现不行 表示过拟合

如果训练集测试集表现都不行 表示欠拟合

特征选择：过滤式：低方差特征；嵌入式：正则化

正则化：减少权重（趋近于0），尽量减小高次项特征的影响

L2正则化

作用：可以使得W的每个元素都很小，都接近于0 优点：越小的参数说明模型越简单，越简单的模型则越不 容易产生过拟合现象

线性回归LinearRegression容易产生过拟合，为了把训练集数据表现更好，可以通过L2正则化的方式来处理

带有正则化的线性回归-Ridge ： 岭回归

sklearn.linear_model.Ridge(alpha=1.0) alpha（λ）：正则化力度 coef_:回归系数

回归怎么调优（如何解决过拟合）：有l2正则化

岭回归：回归得到的回归系数更符合实际，更可靠。另外，能让 估计参数的波动范围变小，变的更稳定。在存在病态数据偏多的研 究中有较大的实用价值。