目录
一、线性回归的模型函数和损失函数:
二、线性回归的算法:
1.梯度下降法:
2.最小二乘法:
【机器学习】<刘建平Pinard老师博客学习记录>最小二乘法_故里的博客-CSDN博客目录一、最小二乘法的原理与解决的问题:二、最小二乘法代数解法:三、最小二乘法的矩阵解法:四、最小二乘法的局限性和适用场景:最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习,尤其是回归模型中,经常可以看到最小二乘法的身影,这里就对我对最小二乘法的认知做一个小结。一、最小二乘法的原理与解决的问题:最小二乘法是由勒让德在19世纪发现的,原理的一般形式很简单,当然发现的过程是非常艰难的。形式如下式:观测值就是我们的多组样...
https://blog.csdn.net/weixin_52058417/article/details/122030332?spm=1001.2014.3001.5501
当然线性回归,还有其他的常用算法,比如牛顿法和拟牛顿法,这里不详细描述。
三、线性回归的推广:多项式回归
四、线性回归的推广:广义线性回归
五、线性回归的正则化:
为了防止模型的过拟合,我们在建立线性模型的时候经常需要加入正则化项。一般有L1正则化和L2正则化。
线性回归的正则化-Lasso回归:
除了上面这两种常见的线性回归正则化,还有一些其他的线性回归正则化算法,区别主要就在于正则化项的不同,和损失函数的优化方式不同,这里就不累述了。
线性回归原理小结 - 刘建平Pinard - 博客园 (cnblogs.com)https://www.cnblogs.com/pinard/p/6004041.html