回归大家庭和朴素贝叶斯总结归纳

一， 回归大家庭

1. 线性回归

1.1 线性回归的概念：

线性回归就是利用线性回归方程的最小二乘函数对一个或多个自变量和因变量之间的关系进行建模的方法，通俗的说就是通过大量样本的训练，通过有监督的学习找到一个X到Y的映射关系，利用该关系对未知数据进行预测，经常用于房价预测等方面，之所以把其分类到回归问题是因为我们所预测的Y值是连续值。

1.2 线性回归的数学形式表达

n 为 样本总数
X 为 样本特征
Y 为 预测值 （默认列向量）
w 为 系数矩阵（默认列向量）
方程为 Y = Xw + b
设样本特征的个数为p 那么X可以用下面这个矩阵来表示

损失函数则为：
$E_w=(Xw-Y{)}^T(Xw-Y)$

求解损失函数：
对w求导：
$\nabla E_w=\frac{\partial \left(w^T{X}^{T}Xw\right)}{\partial w}-2\frac{\partial \left(w^T{X}^{T}Y\right)}{\partial w}-\frac{\partial \left(Y^{T}Y\right)}{\partial w}$
$\nabla E_w=2X^{T}Xw-2X^{T}Y$
$\nabla E_w=2X^T(Xw-Y)$
另该式子等于0
解得 $\hat{w}={\left(X^{T}X\right)}^{-1}{X}^{T}Y$

如果使用了 l1,l2正则化，那么对应的解：$\hat{w}={\left(X^{T}X+\lambda I\right)}^{-1}{X}^{T}Y$

2.逻辑回归

2.1 逻辑回归的概念

逻辑回归同样是有监督学习，旨在解决二分类问题。在空间中找到一条决策边界，来将两种类型的值分开。
逻辑回归和线性回归的区别：
线性回归可以解决连续值的预测，但是不能解决分类问题，逻辑回归可以解决分类问题，所以逻辑回归就是将线性回归的结果通过sigmoid函数映射到（0,1）之间。

2.2 逻辑回归的数学形式表示

类别为1的概率

类别为0的概率

损失函数

求解损失函数：
梯度下降法：

具体求解过程可以看我另一篇博客：https://mp.csdn.net/mdeditor/90214746#

二， 朴素贝叶斯

2.1 朴素贝叶斯公式：

贝叶斯公式就是想用概率数学来表示事件发生依赖关系。贝叶斯公式长下面这样：

$\mathrm{Pr}(X=x|Y=y)=\frac{\mathrm{Pr}(Y=y|X=x)\mathrm{Pr}(X=x)}{\mathrm{Pr}(Y=y)}$

从公式来看，可能有些人不太理解，我们可以从图形来看：


这里有一个很详细的例子，可以帮助更好地理解朴素贝叶斯的工作原理：https://blog.csdn.net/lyl771857509/article/details/78993493

本文部分内容引用来自：www.greedyai.com https://mp.csdn.net/mdeditor/90214746