你真的理解线性回归吗

线性回归虽然是机器学习中，可以说是最简单的一个模型了，理他最基本的形式通常来说确实比较容易，但是其实如果扩展开来，其实还有很多了解的。线性回归，局部加权线性回归，lasso回归，岭回归，SMO算法，logistics回归(逻辑回归)，softmax回归等等。更进一步，KL散度，协方差矩阵，相关系数，置信度，对比散度等等。

线性回归

对于最简单的线性回归，我认为就是一个单层的，没有激活函数的全连接神经网络，分为单变量与多变量线性回归。
单变量线性回归：
https://www.cnblogs.com/zrhai/p/4977123.html
多元线性回归：
https://www.cnblogs.com/pengyingzhi/p/5383801.html

顺便吐槽一句，博客园的排版真特么比CSDN好太多了。。

最朴素的线性回归，确实很简单，它甚至可以直接求出最优参数，不需要使用迭代。
参见：
https://www.cnblogs.com/mooba/p/5947109.html
https://www.cnblogs.com/zj83839/p/7685708.html
但既然作为一种机器学习模型，它自然也可以使用迭代的方式(比如：梯度下降，牛顿拟牛顿算法，共轭梯度算法等)，进行求解，参见：
https://www.cnblogs.com/zhangyuhang3/p/6873351.html ，里面也推导了矩阵形式的最优参数的原理。
线性回归可以说是最小二乘法的经典实现，也可以说是机器学习领域的均方差误差函数求最小化问题。
参见：
https://www.cnblogs.com/hgl0417/p/6235641.html
https://www.cnblogs.com/articleM2H/p/10139167.html
另外里面还有一点就是，所有的机器学习模型其实都是一种概率模型(贝叶斯思想)，条件概率，启发式学习，追求先验概率，后验概率最大化，或者结构风险，经验风险最小，亦或者似然函数最大，损失函数最小。其实很多损失函数形式，都可以通过似然函数加上假定样本服从某一种随机分布(高斯分布，这种不知道为很多情况都能吻合的比较好，或者其他什么分布)来得到，所以优化效果一样。
当然了，本人从事于更小的机器学习领域，往往会从迭代的角度出发，进行拟合或者逐步逼近。
参见：
https://www.cnblogs.com/futurehau/p/6105011.html
https://blog.csdn.net/weixin_42692506/article/details/81840248

在某些专业，比如地理环境专业等，他们可能还会从统计学角度出发，这就引出了很多统计概念，比如：
评价标准，相关系数，协方差，置信度，P值，F值，以及准确率，召回率(真阳假阳)，F-score，AUC，ROC，MAP等等。
一个比较简单的：
http://www.cnblogs.com/SevnChen/p/5065984.html

另外，常用的PCA，ZCA，白化等，也和这个密不可分，当然了，相关系数以及协方差都只是线性相关。
参见：
https://www.cnblogs.com/guo-xiang/p/7295301.html
其实关于概率模型，还有一个很重要的概念，信息熵，条件熵，交叉熵等，也可以从信息论的角度解释这些机器学习模型。

参考文献：

https://blog.csdn.net/YinJianxiang/article/details/81464245?utm_source=blogxgwz3
https://blog.csdn.net/sdwujk160507140150/article/details/80633201
https://blog.csdn.net/pingmin2014/article/details/47127411
https://blog.csdn.net/hjw199089/article/details/76381580
https://blog.csdn.net/u014664226/article/details/52098087