2022-1-22第三章机器学习基础-回归算法

线性回归

回归问题判定：
目标值为连续性的值
例子
:销售额预测、贷款额度预测、
线性关系：
二维—直线关系
三维：
特征值，目标值，平面中


矩阵运算：
np.dot(a,b)

多变量条件下：真实值与预测值的误差

回归算法基本都是迭代算法，迭代更新参数
误差的表征：
损失函数
求解最优化权重的方法：
①正规方程—一次性求解（不通用—求解太复杂）

②梯度下降

后面算法基本都是通过梯度下降不断迭代进行优化—算法自我学习的过程
正规方程-梯度下降对比
API:

#仍然需要标准化-标准化后在得到预测结果后一定要反标准化，不然都是标准化的结果很小

Sklearn:封装好，建立模型简单，预测简单；但是算法过程不可见。
Tensorflow：封装高低都有，可以自己实现
正规方程—梯度下降的差别：

评估方法：
均方误差
API:

过拟合欠拟合

过拟合：特征较多，机器学习较多
欠拟合：特征较少，机器学习较少

模型复杂的原因：
数据的特征和目标值之间是复杂的非线性关系，不仅仅是线性关系

判断依据：
训练集训练结果很好、测试及表现较差—过拟合
训练集测试集结果都很好—欠拟合
解决方法：
①特征选择，消除关联性大的特征（较难做），交叉验证（让所有数据都有过训练），正则化（重点）

正则化：
更新权重过程当中，尽量减小高次项特征的影响
L2正则化：
回归问题解决过拟合的方式
 
 Ridge：岭回归，
 带有正则化项的线性回归，解决过拟合

API:


（alpha超参数，alpha越大，权重越来越小）