5-1 线性回归算法

1. 线性回归算法简介

线性回归算法的特点

• 解决回归问题
• 思想简单,容易实现
• 许多强大的非线性模型的基础  (逻辑回归\多项式回归\SVM等)
• 结果具有很好的可解释性
• 蕴含机器学习中的很多重要思想

分类问题和回归问题的区别

分类问题,坐标轴都是特征, 颜色代表样本的输出标记(离散)

回归问题,横轴是特征,纵轴是样本的输出标记,样本的输出标记在一个连续的空间里

简单线性回归的思想(拟合方程\损失函数)

简单线性回归(只有一个特征)

多个特征是多元线性回归

总体思想: 找到一组参数值使得某个函数(损失函数)尽可能的小

[机器学习中的参数学习算法就是创建一个模型, 然后学习模型的参数===>找到这些参数使得可以最优化损失函数

 近乎所有参数学习算法都是这样的套路

模型不同, 建立的目标函数不同, 优化的方式不同]

简单线性回归通过最小二乘法最优化损失函数