【机器学习】＜刘建平Pinard老师博客学习记录＞线性回归原理

目录

一、线性回归的模型函数和损失函数：

二、线性回归的算法：

1.梯度下降法：

2.最小二乘法：

三、线性回归的推广：多项式回归

四、线性回归的推广：广义线性回归

五、线性回归的正则化：

---

一、线性回归的模型函数和损失函数：

---

二、线性回归的算法：

1.梯度下降法：

【机器学习】＜刘建平Pinard老师博客学习记录＞梯度下降（Gradient Descent）_故里的博客-CSDN博客目录一、梯度：二、梯度上升和梯度下降：三、梯度下降法算法详解：1.梯度下降的直观解释：2.梯度下降的相关概念：3.梯度下降的详细算法：3.1 梯度下降法的代数方式描述：3.2 梯度下降法的矩阵方式描述：4.梯度下降的算法调优：四、梯度下降法大家族（BGD，SGD，MBGD）：1.批量梯度下降法（Batch Gradient Descent）：2.随机梯度下降法（Stochastic Gradient Descent）：3.小批量梯度下降法（Mini-bathttps://blog.csdn.net/weixin_52058417/article/details/122021141?spm=1001.2014.3001.5501

2.最小二乘法：
【机器学习】＜刘建平Pinard老师博客学习记录＞最小二乘法_故里的博客-CSDN博客目录一、最小二乘法的原理与解决的问题：二、最小二乘法代数解法：三、最小二乘法的矩阵解法：四、最小二乘法的局限性和适用场景：最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。一、最小二乘法的原理与解决的问题：最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：观测值就是我们的多组样...https://blog.csdn.net/weixin_52058417/article/details/122030332?spm=1001.2014.3001.5501

当然线性回归，还有其他的常用算法，比如牛顿法和拟牛顿法，这里不详细描述。

---

三、线性回归的推广：多项式回归

---

四、线性回归的推广：广义线性回归

---

五、线性回归的正则化：

        为了防止模型的过拟合，我们在建立线性模型的时候经常需要加入正则化项。一般有L1正则化和L2正则化。

线性回归的正则化-Lasso回归：

【机器学习】＜刘建平Pinard老师博客学习记录＞Lasso回归算法： 坐标轴下降法与最小角回归法_故里的博客-CSDN博客一、回顾线性回归：线性回归：【每日一更】＜吴恩达-机器学习＞单变量的线性回归&认识梯度下降_故里的博客-CSDN博客一、单变量线性回归 - Linear regession with one variable:Supervised Learning: Gives the "right answer" for each example in the data.Regression Problem: Redict real-valued outputClassfication Problem: https://blog.csdn.net/weixin_52058417/article/details/122030849?spm=1001.2014.3001.5502

        除了上面这两种常见的线性回归正则化，还有一些其他的线性回归正则化算法，区别主要就在于正则化项的不同，和损失函数的优化方式不同，这里就不累述了。

---

线性回归原理小结 - 刘建平Pinard - 博客园 (cnblogs.com)https://www.cnblogs.com/pinard/p/6004041.html