【西瓜书】3-线性模型

线性回归

3.1-基本形式

3.1.1-基本形式

$$f(x)=w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b\text{\hspace{1em}(3.1)}$$

其中 $x$ 为一共 $d$ 个属性的示例，$x_i$ 为 $x$ 的第 $i$ 个属性。$f(x)$ 为预测函数。$w$可以代表各属性在预测中的重要性

3.1.1-向量形式

$$f(x)=w^{T}x+b\text{\hspace{1em}(3.2)}$$

3.2-线性回归

给定数据集 $D=\{(x_1,y_1),(x_2,y_2),\dots (x_d,y_d)\}$，其中 $x_i=(x_{i1};x_{i2};\dots ;x_{id})$，$y\in \mathbb{R}$

线性回归试图习得一个预测函数 $f(x_i)=w{x}_i+b$

使得
$$f(x_i)\simeq y_i\text{\hspace{1em}(3.3)}$$

3.2.1-性能度量

至于如何确定 $w$ 和 $b$，

2.3 节介绍过，均方误差(2.2) 是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化

$$\begin{array}{rl}\left(w^{\ast },b^{\ast }\right)& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2.\end{array}\text{\hspace{1em}(3.4)}$$

最后用最小二乘法解得
$$w=\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\bar{x}\right)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}\text{\hspace{1em}(3.7)}$$

$$b=\frac{1}{m}\sum _{i=1}^m\left(y_i-w{x}_i\right)\text{\hspace{1em}(3.8)}$$

3.2.2-多元线性回归

更一般的情形是如本节开头的数据集 $D$ ， 样本由 $d$ 个属性描述.此时我们
试图学得
$$f\left({\mathbf{x}}_i\right)={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\text{, 使得 }f\left({\mathbf{x}}_i\right)\simeq y_i$$
这称为“多元线性回归”

把数据集 $D$ 表示为一个 $m\times (d+1)$ 大小的矩阵 $X$

$$\mathbf{X}=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \dots & x_{1d}& 1\\ x_{21}& x_{22}& \dots & x_{2d}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \dots & x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{\mathbf{x}}_1^{\mathrm{T}}& 1\\ {\mathbf{x}}_2^{\mathrm{T}}& 1\\ ⋮& ⋮\\ {\mathbf{x}}_m^{\mathrm{T}}& 1\end{array}\right)$$

$Y$ 写成：$y=(y_1;y_2;\dots ;y_m)$

那么：
$${\hat{\mathbf{w}}}^{\ast }=\arg \min (\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^{\mathrm{T}}(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})\text{\hspace{1em}(3.9)}$$
求导得：
$$\frac{\partial E_{\hat{\mathbf{w}}}}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^{\mathrm{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})\text{\hspace{1em}(3.10)}$$

若$X$为正定矩阵或者满秩矩阵，可以直接解得
$${\hat{w}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}Y$$

反之能够解出很多个 $\hat{w}$

这个时候需要正则化处理

3.2.3-广义线性模型

在这里，我们不会逼近 $y$，反而逼近$y$的某个函数，如 $\ln y$ 或者 $y^2$

一般表示成：
$$y=g^{-1}(w^{T}x+b)$$

3.3-对数几率回归

假设现有一模型(其实叫单位阶跃函数)
$$y=\{\begin{array}{cc}0,& z<0\\ 0.5,& z=0\\ 1,& z>0\end{array}\text{\hspace{1em}(3.16)}$$
这个函数既不连续也不可微¹,那么有没有一个连续可微的替代呢？

有，sigmod函数

其含义是越靠近中心点的概率越高，越远离中心点的概率越低，但是函数预测的确定性越高。

因此, “对数几率回归”(Logistic Regression)做的事情是对分类的可能性建模, 而不是去预测样本的y值²

以下面这张图为例，$x$ 越大，那么预测为蓝色的概率越高，反之越低

3.4-线性判别分析

线性判别分析：Linear Discriminant nalys ，简称 LDA

其思想是：最大化类间均值，最小化类内方差。意思就是将数据投影在低维度上，并且投影后同种类别数据的投影点尽可能的接近，不同类别数据的投影点的中心点尽可能的远³。

3.5-多分类学习

对于多个分类的问题，可以将多分类问题转化为多个二分类问题

• 一对一：OvO
• 一对多：OvR
• 多对多：MvM

MvM的正反类构造有特殊要求

3.5.1-ECOC

纠错输出码：Error Correcting Output Codes

• 编码:对 N 个类别做 M 次划分， 每次划分将一部分类别划为正类，一部分划为反类，从而形成一个二分类训练集;这样一共产生 M 个训练集，可训练出 M 个分类器.
• 解码:M 个分类器分别对测试样本进行预测，这些预测标记组成一个编码.将这个预测编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测结果.

3.6-类别不平衡问题

假设正例有999个，但是反例只有一个，那么只需要将所有的例子都输出为正例行。但是我们其实更加看重那一个反例，而非另外的999个正例。

可以给回归的函数设置权重，原先不是 $\frac{y}{1-y}>1$ 就输出为正例吗？

现在时代变了，需要 $\frac{y}{1-y}>\frac{m^{+}}{m^{-}}$ 才能输出为正例，这里的 $m^{+-}$ 代表正例个和反例个数。这称为阔值移动

在实际应用时，如果样本容量不远远大于样本的特征维度，很可能造成过拟合，对这种情况，我们有下面三个解决方式：

1. 加数据

2. 特征选择（降低特征维度）如 PCA 算法。

3. 正则化

正则化一般是在损失函数（如上面介绍的最小二乘损失）上加入正则化项（表示模型的复杂度对模型的惩罚），下面我们介绍一般情况下的两种正则化。

$$\begin{array}{rl}L1& :\underset{w}{\mathrm{argmin}}L(w)+\lambda ||w|{|}_1,\lambda >0\\ L2& :\underset{w}{\mathrm{argmin}}L(w)+\lambda ||w|{|}_2^2,\lambda >0\end{array}$$

正则化

正则化简介

目的：防止过拟合，增大模型的稳定性。

$$L=\underset{\text{data loss}}{\underbrace{\frac{1}{N}\sum _i{L}_i}}+\underset{\text{regularization loss}}{\underbrace{\lambda R(W)}}$$

• L：正则化强度
• 数据损失：拟合我们的数据的误差
• 正则化损失：避免在数据集上做的太好
• 正则化
  • 目的：提高模型的泛化能力
  • L1：$R(W)={\sum }_k{\sum }_l{W}_{k,l}^2$
  • L2：$R(W)={\sum }_k{\sum }_l|W_{k,l}|$
  • 弹性网络：综合考虑L1L2， R ( W ) = ∑ k ∑ l { β W k , l 2 + ∣ W k , l ∣ } R(W) = \sum_k\sum_l\{{\beta W^2_{k,l}+|W_{k, l}|\}} R(W)=∑k​∑l​{βWk,l2​+∣Wk,l​∣}
  • 比正则化更复杂的泛化技巧：dropout、batch normalization、stochastic depth、fractional pooling

正则化例子

L1正则化

也叫做Lasso。

L1正则化可以引起稀疏解。

从最小化损失的角度看，由于 L1 项求导在0附近的左右导数都不是0，因此更容易取到0解。

从另一个方面看，L1 正则化相当于：

$$\begin{gathered} \underset{w}{\mathrm{argmin}}L(w) \\ s.t.||w|{|}_1<C \end{gathered}$$

我们已经看到平方误差损失函数在 w 空间是一个椭球，因此上式求解就是椭球和 ||w||_1=C的切点，因此更容易相切在坐标轴上。

L2 Ridge正则

也叫做岭回归。

$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmin}}L(w)+\lambda w^{T}w& ⟶\frac{\partial }{\partial w}L(w)+2\lambda w=0\\ & ⟶2X^{T}X\hat{w}-2X^{T}Y+2\lambda \hat{w}=0\\ & ⟶\hat{w}=(X^{T}X+\lambda \mathbb{I}{)}^{-1}{X}^{T}Y\end{array}$$

可以看到，这个正则化参数和前面的 MAP 结果不谋而合。利用2范数进行正则化不仅可以是模型选择 w 较小的参数，同时也避免 X^TX不可逆的问题。

优化技巧

从频率派角度和贝叶斯角度我们都导出了线性回归模型，总结起来有三个特点：

1. 线性
   • 属性：x是P维向量，f关于x是线性的
     • –> 特征转换(多项式回归)
   • 系数非线性：激活函数都是非线性的
     • –> 线性分类
     • –> 感知机
   • 全局非线性
     • –> 神经网络
     • –> 感知机
2. 全局性：没有将特征空间划分成不同的段
   • –> 线性样条回归(把输入空间截断)
   • –> 决策树(分割样本空间)
3. 数据未加工：拿到数据后直接拟合
   • –> PCA
   • –> 流形

打破其中的某些条件，可以导出不同的模型：

线性分类

背景

过渡

线性回归是怎么过渡到线性分类的？

打破线性回归的全局非线性。

这里我们定义分类函数
y = f ( w T x + b ) y ∈ { 0 , 1 }   o r   y ∈ [ 0 , 1 ] y = f(w^Tx+b) \quad y\in\{0,1\}\ or\ y\in[0,1] y=f(wTx+b)y∈{0,1} or y∈[0,1]
这里我们将$f$称作激活函数，$f^{-1}$称为链接函数：
f : w T x + b ⟶ { 0 , 1 } f − 1 : { 0 , 1 } ⟶ w T x + b \begin{align} f&: w^Tx+b \longrightarrow \{0,1\} \\ f^{-1}&:\{0,1\} \longrightarrow w^Tx+b \end{align} ff−1​:wTx+b⟶{0,1}:{0,1}⟶wTx+b​​

分类的类别

对于分类任务，线性回归模型就无能为力了，但是我们可以在线性模型的函数进行后再加入一层激活函数，这个函数是非线性的，激活函数的反函数叫做链接函数。我们有两种线性分类的方式：

1. 硬分类，我们直接需要输出观测对应的分类，即 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}。这类模型的代表为：
   1. 线性判别分析（Fisher 判别）
   2. 感知机
2. 软分类，产生不同类别的概率，即$y\in [0,1]$，这类算法根据概率方法的不同分为两种
   1. 生成式（根据贝叶斯定理先计算参数后验，再进行推断）：高斯判别分析（GDA）和朴素贝叶斯等为代表
      1. GDA
      2. Naive Bayes
   2. 判别式（直接对条件概率进行建模）：Logistic 回归

感知机

想法：错误驱动。

假定

• 模型：$f(x)=sign(x)x,w\in {\mathbb{R}}^P$
• 激活函数：$sign(a)=\{\begin{array}{c}+1,a\ge 0\\ -1,a<0\end{array}$
• 被错误分类的样本：集合$\mathcal{D}$

错误分类就是给$w$一个初始值，不断的挪动我们的曲线，使得$\mathcal{D}$中元素最少。

这里的损失函数为：$L(w)=\sum _{x_i\in \mathcal{D}}I(y_i{w}^T{x}_i)$,其中$I=\{\begin{array}{c}+1,a>0\\ 0,a=0\\ -1,a<0\end{array}$

虽然很直观，但是这个方法有个问题，它的函数

1. 不连续、不可导，不能/很难求解
2. 是NP Hard问题

我们继续观察$z=y_i{w}^{T}x$，当$w$变动一点点，$z$也会变化一点点，这样就可导了，为何不将其当作一个损失函数呢？

现在构造新损失函数$L(w)$：
$$L(w)=\sum _{x_i\in {\mathcal{D}}_{wrong}}-y_i{w}^T{x}_i$$
计算时，我们采用随机梯度下降(SGD)算法

如果不是线性可分的，我们有pocket algorithm，它允许有一点点错误存在

• 感知机收敛定理 #todo
• pocket algorithm #todo

线性判别分析

也叫Fisher判别分析。罗纳德·费希尔_百度百科

思想是：类内小，类间大。

从降维的角度出发，把数据全部投影到一维的坐标轴上，之后选定一个阈值来分类。

现在需要找一个最合适的投影方向，比如说上图中右边的更好。

这里指的就是最大化类间间隔，最小化类内方差。用计算机行话就是**“高内聚低耦合”**。

模型定义

首先是投影，我们假定原来的数据是向量 $x$，那么顺着 $ w$ 的方向投影就是标量$z$：
$$z=w^T\cdot x(=|w|\cdot |x|\cos \theta )$$
投影的均值$\bar{z}$：
$$\bar{z}=\frac{1}{N}{w}^T\cdot x$$

投影的方差$S_z$：
$$\begin{array}{rl}{S}_z& =\frac{1}{N}\sum _{i=1}^{N_2}(z_i-\bar{z})(z_i-\bar{z}{)}^T\\ & =\frac{1}{N}\sum _{i=1}^{N_2}(w^T{x}_i-\bar{z})(w^T{x}_i-\bar{z}{)}^T\end{array}$$
假设属于两类的试验样本数量分别是 $N_1$和 $N_2$，那么我们采用方差矩阵来表征每一个类内的总体分布，这里我们使用了协方差的定义，用 $S$ 表示原数据的协方差：
$$\begin{array}{rl}{C}_1:Va{r}_z[C_1]& =\frac{1}{N_1}\sum _{i=1}^{N_1}(z_i-\overline{z_{c1}})(z_i-\overline{z_{c1}}{)}^T\\ & =\frac{1}{N_1}\sum _{i=1}^{N_1}(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j)(w^T{x}_i-\frac{1}{N_1}\sum _{j=1}^{N_1}{w}^T{x}_j{)}^T\\ & =w^T\frac{1}{N_1}\sum _{i=1}^{N_1}(x_i-\overline{x_{c1}})(x_i-\overline{x_{c1}}{)}^{T}w\\ & =w^T{S}_{1}w\end{array}$$

$$\begin{array}{rl}{C}_2:Va{r}_z[C_2]& =\frac{1}{N_2}\sum _{i=1}^{N_2}(z_i-\overline{z_{c2}})(z_i-\overline{z_{c2}}{)}^T\\ & =w^T{S}_{2}w\end{array}$$

所以类内距离可以记为方差的和：
$$\begin{array}{r}Va{r}_z[C_1]+Va{r}_z[C_2]=w^T(S_1+S_2)w\end{array}$$
对于类间距离，我们可以用两类的均值表示这个距离：
$$\begin{array}{rl}(\overline{z_{c1}}-\overline{z_{c2}}{)}^2& =(\frac{1}{N_1}\sum _{i=1}^{N_1}{w}^T{x}_i-\frac{1}{N_2}\sum _{i=1}^{N_2}{w}^T{x}_i{)}^2\\ & =(w^T(\overline{x_{c1}}-\overline{x_{c2}}){)}^2\\ & =w^T(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w\end{array}$$
综合这两点，由于协方差是一个矩阵，于是我们用将这两个值相除来得到我们的损失函数，并最大化这个值：
$$\begin{array}{rl}\hat{w}=\underset{w}{\mathrm{argmax}}J(w)& =\underset{w}{\mathrm{argmax}}\frac{(\overline{z_{c1}}-\overline{z_{c2}}{)}^2}{Va{r}_z[C_1]+Va{r}_z[C_2]}\\ & =\underset{w}{\mathrm{argmax}}\frac{w^T(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w}{w^T(S_1+S_2)w}\\ & =\underset{w}{\mathrm{argmax}}\frac{w^T{S}_{b}w}{w^T{S}_{w}w}\end{array}$$

这里

• $S_b$(Between Class)表示类间方差

• $S_w$(Within Class)表示类内方差

模型求解

这样，我们就把损失函数和原数据集以及参数结合起来了。

下面对这个损失函数求偏导，注意我们其实对 $w$ 的绝对值没有任何要求，只对方向有要求，因此只要一个方程就可以求解了：
$$\begin{array}{rl}& \frac{\partial }{\partial w}J(w)=2S_{b}w(w^T{S}_{w}w{)}^{-1}-2w^T{S}_{b}w(w^T{S}_{w}w{)}^{-2}{S}_{w}w=0\\ & ⟹S_{b}w(w^T{S}_{w}w)=(w^T{S}_{b}w)S_{w}w\\ & ⟹w\propto S_w^{-1}{S}_{b}w=S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})(\overline{x_{c1}}-\overline{x_{c2}}{)}^{T}w\propto S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})\end{array}$$
于是 $ S_w^{-1}(\overline{x_{c1}}-\overline{x_{c2}})$ 就是我们需要寻找的方向。最后可以归一化求得单位的 $w$ 值。

逻辑回归

有时候我们只要得到一个类别的概率，那么我们需要一种能输出 $[0,1]$ 区间的值的函数。考虑两分类模型，我们利用判别模型，希望对 $p(C|x)$ 建模，这就是概率判别模型的工作。

逻辑回归就是采用一个特殊的激活函数，将线性回归问题转换为线性分类问题，这个激活函数叫做Sigmoid函数
$$\{\begin{array}{l}{p}_i=p(y=1\mid x)=\sigma (w^{\ast }x)=\frac{1}{1+e^{-w^{T}x}},y=1\\ p_0=p(y=0\mid x)=1-p(y=1\mid x)=\frac{e^{-w^{T}x}}{1+e^{-w^{T}x}},y=0\end{array}$$

利用贝叶斯定理：
$$p(C_1|x)=\frac{p(x|C_1)p(C_1)}{p(x|C_1)p(C_1)+p(x|C_2)p(C_2)}$$
取 $a=\ln \frac{p(x|C_1)p(C_1)}{p(x|C_2)p(C_2)}$，于是：
$$p(C_1|x)=\frac{1}{1+\exp (-a)}$$
上面的式子叫 Logistic Sigmoid 函数，其参数表示了两类联合概率比值的对数。在判别式中，不关心这个参数的具体值，模型假设直接对 $a$ 进行。

Logistic 回归的模型假设是：
$$a=w^{T}x$$
于是，通过寻找 $ w$ 的最佳值可以得到在这个模型假设下的最佳模型。概率判别模型常用最大似然估计的方式来确定参数。

对于一次观测，获得分类 $y$ 的概率为（假定$C_1=1,C_2=0$）：
$$p(y|x)=p_1^y{p}_0^{1-y}$$

那么对于 $N$ 次独立全同的观测 MLE为：
$$\hat{w}={\mathrm{argmax}}_{w}J(w)={\mathrm{argmax}}_w\sum _{i=1}^N(y_i\log p_1+(1-y_i)\log p_0)$$
注意到，从信息论角度，这个表达式其实是**交叉熵(Cross Entropy)**表达式的相反数乘 $N$，MLE 中的对数也保证了可以和指数函数相匹配，从而在大的区间汇总获取稳定的梯度。

对这个函数求导数，注意到：
$$p_1^{\prime }=(\frac{1}{1+\exp (-a)}{)}^{\prime }=p_1(1-p_1)$$
则：
$$J^{\prime }(w)=\sum _{i=1}^N{y}_i(1-p_1)x_i-p_1{x}_i+y_i{p}_1{x}_i=\sum _{i=1}^N(y_i-p_1)x_i$$
由于概率值的非线性，放在求和符号中时，这个式子无法直接求解。于是在实际训练的时候，和感知机类似，也可以使用不同大小的批量随机梯度上升（对于最小化就是梯度下降）来获得这个函数的极大值。

高斯判别分析

高斯判别分析(Gaussian Discriminate Analysis, GDA)，一种连续的软输出的概率生成模型。

概率生成模型

概率判别模型需要将$p(y|x)$的值求出来，但是概率生成模型只关心更像谁，即属于0多一点还是属于1多一点。

这里问题转化为：
$$p(y|x)=\frac{p(x|y)\times p(y)}{p(x)}\propto p(x|y)\times p(y)$$
$p(y)$是先验，$p(x|y)$是似然，$p(y|x)$是后验。

生成模型：
y ^ = a r g m a x y ∈ { 0 , 1 } p ( y ∣ x ) = a r g m a x y p ( y ) p ( x ∣ y ) \hat{y} = \mathop{argmax}_{y\in\{0,1\}} p(y|x) = \mathop{argmax}_{y}p(y)p(x|y) y^​=argmaxy∈{0,1}​p(y∣x)=argmaxy​p(y)p(x∣y)

模型定义

1. 把$y$看作一个伯努利分布：$y\sim Bernoulli(\varphi )$。
2. 假设似然满足高斯分布：$x|y=1\sim \mathcal{N}({\mu }_1,\Sigma )$, $x|y=0\sim \mathcal{N}({\mu }_0,\Sigma )$

这里定义一个log似然函数：
$$\begin{array}{rl}\log -likelihood:w_0& =\log \frac{N}{i=1}p(x_i,y_i)\\ & =\sum _{i=1}^N\log (p(x_i|y_i)p(y_i))\\ & =\sum _{i=1}^N[\log p(x_i|y_i)+\log p(y_i)]\\ & =\sum _{i=1}^N\left[\log N{\left({\mu }_1\bar{z}\right)}^{y_i}\cdot N{\left({\mu }_2\bar{z}\right)}^{1-y_i}+\log {\varphi }^{y_i}{\left(-\varphi \right)}^{+y_i}\right]\\ & =\sum _{i=1}^N\left[\log N{\left({\mu }_1\bar{z}\right)}^{y_i}+\log N{\left({\mu }_2\bar{z}\right)}^{1-y_i}+\log {\varphi }^{y_i}{\left(-\varphi \right)}^{1-y_i}\right]\\ & =\sum _{i=1}^N[\underset{1}{\underbrace{\log N(M,\Sigma )}}+\underset{2}{\underbrace{\log N(M,\Sigma )}}+\underset{3}{\underbrace{\log {\varphi }^{y_i}(1-\varphi {)}^{-y_i}}}]\end{array}$$

模型求解-求 $\varphi$

首先对 进行求解，将式子3对 $\varphi$ 求偏导：
$$\begin{array}{r}\sum _{i=1}^N\frac{y_i}{\varphi }+\frac{y_i-1}{1-\varphi }=0\\ ⟹\varphi =\frac{\sum _{i=1}^N{y}_i}{N}=\frac{N_1}{N}\end{array}$$

模型求解-求 ${\mu }_1$

然后利用式子1求解 ${\mu }_1$：
$$\begin{array}{rl}\widehat{{\mu }_1}& ={\mathrm{argmax}}_{{\mu }_1}\sum _{i=1}^N{y}_i\log \mathcal{N}({\mu }_1,\Sigma )\\ & ={\mathrm{argmin}}_{{\mu }_1}\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)\end{array}$$
由于：
$$\sum _{i=1}^N{y}_i(x_i-{\mu }_1{)}^T{\Sigma }^{-1}(x_i-{\mu }_1)=\sum _{i=1}^N{y}_i{x}_i^T{\Sigma }^{-1}{x}_i-2y_i{\mu }_1^T{\Sigma }^{-1}{x}_i+y_i{\mu }_1^T{\Sigma }^{-1}{\mu }_1$$

求微分左边乘以 $\Sigma$ 可以得到：
$$\begin{array}{r}\sum _{i=1}^N-2y_i{\Sigma }^{-1}{x}_i+2y_i{\Sigma }^{-1}{\mu }_1=0\\ ⟹{\mu }_1=\frac{\sum _{i=1}^N{y}_i{x}_i}{\sum _{i=1}^N{y}_i}=\frac{\sum _{i=1}^N{y}_i{x}_i}{N_1}\end{array}$$

模型求解-求${\mu }_0$

求解 ${\mu }_0$，由于正反例是对称的，所以：
$${\mu }_0=\frac{\sum _{i=1}^N(1-y_i)x_i}{N_0}$$

模型求解-求协方差 $\Sigma$

最为困难的是求解 $\Sigma$，我们的模型假设对正反例采用相同的协方差矩阵，当然从上面的求解中我们可以看到，即使采用不同的矩阵也不会影响之前的三个参数。首先我们有：
$$\begin{array}{rl}\sum _{i=1}^N\log \mathcal{N}(\mu ,\Sigma )& =\sum _{i=1}^N\log (\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}})+(-\frac{1}{2}(x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace((x_i-\mu {)}^T{\Sigma }^{-1}(x_i-\mu ))\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}Trace((x_i-\mu )(x_i-\mu {)}^T{\Sigma }^{-1})\\ & =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}NTrace(S{\Sigma }^{-1})\end{array}$$
在这个表达式中，我们在标量上加入迹从而可以交换矩阵的顺序，对于包含绝对值和迹的表达式的导数，我们有：
$$\begin{array}{rl}\frac{\partial }{\partial A}(|A|)& =|A|A^{-1}\\ \frac{\partial }{\partial A}Trace(AB)& =B^T\end{array}$$
因此：
$$\begin{array}{r}[\sum _{i=1}^N((1-y_i)\log \mathcal{N}({\mu }_0,\Sigma )+y_i\log \mathcal{N}({\mu }_1,\Sigma ){]}^{\prime }\\ =Const-\frac{1}{2}N\log |\Sigma |-\frac{1}{2}{N}_{1}Trace(S_1{\Sigma }^{-1})-\frac{1}{2}{N}_{2}Trace(S_2{\Sigma }^{-1})\end{array}$$
其中，$S_1,S_2$ 分别为两个类数据内部的协方差矩阵，于是：
$$\begin{array}{r}N{\Sigma }^{-1}-N_1{S}_1^T{\Sigma }^{-2}-N_2{S}_2^T{\Sigma }^{-2}=0\\ ⟹\Sigma =\frac{N_1{S}_1+N_2{S}_2}{N}\end{array}$$
这里应用了类协方差矩阵的对称性。

于是我们就利用最大后验的方法求得了我们模型假设里面的所有参数，根据模型，可以得到联合分布，也就可以得到用于推断的条件分布了。

朴素贝叶斯

朴素贝叶斯假设/条件独立性假设、最简单的概率图模型

其中xi表示的是维度而不是变量，其中$x_i\perp x_j|y,\forall i\ne j$

那么朴素贝叶斯假设：
$$P(x_1,x2|y)=p(x_1|y)p(x_2|y)$$

也就是说
$$p(x|y)=\prod _{i=1}^{p}p(x_i|y)$$
这里起了简化运算的作用，没有其它动机。

回顾一下概率生成模型
y ^ = a r g m a x y ∈ { 0 , 1 }   p ( y ∣ x ) = a r g m a x y   p ( x , y ) p ( x ) = a r g m a x y   p ( y ) p ( x ∣ y ) \begin{align} \hat{y} &= \mathop{argmax}_{y\in\{0,1\}}\ p(y|x) \\&= \mathop{argmax}_{y}\ \frac{p(x,y)}{p(x)} \\ &= \mathop{argmax}_{y}\ p(y)p(x|y) \end{align} y^​​=argmaxy∈{0,1}​ p(y∣x)=argmaxy​ p(x)p(x,y)​=argmaxy​ p(y)p(x∣y)​​

利用贝叶斯定理，对于单次观测：
$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}=\frac{\prod _{i=1}^{p}p(x_i|y)p(y)}{p(x)}$$
对于单个维度的条件概率以及类先验作出进一步的假设：

1. $x_i$ 为连续变量：$p(x_i|y)=\mathcal{N}({\mu }_i,{\sigma }_i^2)$
2. $x_i$ 为离散变量：类别分布（Categorical）：$p(x_i=i|y)={\theta }_i,\sum _{i=1}^K{\theta }_i=1$
3. $p(y)={\varphi }^y(1-\varphi {)}^{1-y}$

对这些参数的估计，常用 MLE 的方法直接在数据集上估计，由于不需要知道各个维度之间的关系，因此，所需数据量大大减少了。估算完这些参数，再代入贝叶斯定理中得到类别的后验分布。

• 一文详解朴素贝叶斯(Naive Bayes)原理 - 知乎

参考

---

1. 对数几率回归 —— Logistic Regression - 知乎 (zhihu.com) ↩︎

2. #8 究竟什么是"逻辑回归", “对数几率回归” ↩︎

3. 线性判别分析LDA原理及推导过程（非常详细） - 知乎 (zhihu.com) ↩︎