机器学习算法基础(7): 线性回归算法模型，过拟合与欠拟合以及岭回归

线性回归：回归算法

回归：目标值连续

• 房价预测

• 销售额预测

• 贷款额度

回归：寻找一种能预测的趋势

线性关系：在二维中，直线关系。在三维中，特征有两个，目标值有一个，关系在平面中。

1、线性关系模型

线性回归通过找到属性和权重一种组合来预测结果

矩阵

大多数算法计算基础

数组与矩阵的区别

• mutiply 数组乘法
• dot：矩阵乘法

2、线性回归策略

预测结果与真实值有误差

回归：迭代的算法，知道误差，不断减小误差，

损失函数

寻找损失函数最小时对应的w值

正规方程

最小二乘法之梯度下降

通过不断学习，取到损失函数最小值，学习速率为α

搜查的初始位置随即开始:算法的自我学习过程

线性回归案例：波士顿房价数据集

scikit-learn：

• 优点：封装好，建立模型简单，预测简单

• 缺点：算法的过程，有些参数都在算法API内部优化