贝叶斯回归、最大后验回归、最大似然回归、最小二乘法、岭回归、SVM回归、共轭分布

贝叶斯回归：
如果你设置了高斯先验，那么相当于加上L2正则化，如果设置拉普拉斯先验，相当于加上L1正则化。
极大后验估计=极大似然估计+正则项
=贝叶斯的分子 P(似然)xP(先验) 求log
（求log变为加法）

有监督学习是不是包括参数化方法（频率学派、贝叶斯学派）

（频率学派优化的时候还是会求log然后算偏导
频率学派的范围，虽然是一个常数，但是我们依然可以引入先验知识，然后做极大后验分布。
贝叶斯线性回归直接把模型参数视为一个未知参数的已知分布，然后以最大后验估计的方式求解模型参数分布的参数。
大部分贝叶斯学派还是认为模型参数分布的参数是常量，所以写成模型参数分布的参数的形式之后还是按照频率派的方式求解。

贝叶斯学派与频率学派有何不同？
https://www.zhihu.com/question/20587681）

最大似然估计法解决线性回归问题：
https://blog.csdn.net/weixin_43120238/article/details/117248627?app_version=5.8.0&csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22117248627%22%2C%22source%22%3A%22weixin_42666153%22%7D&utm_source=app

贝叶斯线性回归：
https://baike.baidu.com/item/贝叶斯线性回归/23169388

贝叶斯估计准确来讲是最大后验估计加上高斯先验推导出了带有L2正则的线性回归！
这里可以看出，先验概率对应的就是正则项：
https://blog.csdn.net/qq_32742009/article/details/81485887?app_version=5.8.0&csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%2281485887%22%2C%22source%22%3A%22weixin_42666153%22%7D&utm_source=app

贝叶斯：高斯贝叶斯，多项式贝叶斯，伯努利贝叶斯

高斯贝叶斯：先验为高斯分布的朴素贝叶斯

多项式贝叶斯；先验为多项式的分布的朴素贝叶斯

伯努利贝叶斯：先验为伯努利分布的朴素贝叶斯，适用于样本很稀松的二元离散值或很稀松的多元离散值情况

共轭分布
https://zhuanlan.zhihu.com/p/103854460

岭回归与L2正则化
https://blog.csdn.net/MoreAction_/article/details/125004112?app_version=5.8.0&csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22125004112%22%2C%22source%22%3A%22weixin_42666153%22%7D&utm_source=app

sklearn初探（四）：支持向量机、高斯贝叶斯、岭回归
https://blog.csdn.net/swy_swy_swy/article/details/106064836?app_version=5.8.0&csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22106064836%22%2C%22source%22%3A%22weixin_42666153%22%7D&utm_source=app

由 KernelRidge 学习的模型的形式与支持向量回归( SVR 是一样的。但是他们使用不同的损失函数：内核岭回归（KRR）使用 squared error loss （平方误差损失函数）而 support vector regression （支持向量回归）（SVR）使用 ε-insensitive loss ( ε-不敏感损失 )，两者都使用 l2 regularization （l2 正则化）。与SVR 相反，拟合 KernelRidge 可以以 closed-form （封闭形式）完成，对于中型数据集通常更快。另一方面，学习的模型是非稀疏的，因此比 SVR 慢。在预测时间内，SVR 拟合的是ε>0的稀疏模型。

MSE基础上加了L2正则项或者把MSE损失换成了Hinge损失（SVM分类）