NLP-Task5——朴素贝叶斯和支持向量机原理

最新推荐文章于 2024-06-15 18:16:22 发布

nht1996

最新推荐文章于 2024-06-15 18:16:22 发布

阅读量367

点赞数

文章标签： nlp SVM 朴素贝叶斯

本文链接：https://blog.csdn.net/nht1996/article/details/90382845

版权

朴素贝叶斯分类器

简介

假定输入的特征是 $x_1,x_2,...,x_n$ ，输出的分类是y，朴素贝叶斯模型使用贝叶斯公式计算后验概率：
$P\left(y | x_{1}, \ldots, x_{n}\right)=\frac{P(y) P\left(x_{1}, \ldots x_{n} | y\right)}{P\left(x_{1}, \ldots, x_{n}\right)}$
朴素贝叶斯模型假设给定分类y的条件下，输入的特征之间是相互独立的，因此对于任意的i都有：
$P\left(x_{i} | y, x_{1}, \dots, x_{i-1}, x_{i+1}, \ldots, x_{n}\right)=P\left(x_{i} | y\right)$
代入前面的式子得到：
$P\left(y | x_{1}, \ldots, x_{n}\right)=\frac{P(y) \prod_{i=1}^{n} P\left(x_{i} | y\right)}{P\left(x_{1}, \ldots, x_{n}\right)}$
因为输入固定， $P(x_1,...,x_n)$ 是一个常量，所以我们可以用下式来分类：
$P\left(y | x_{1}, \ldots, x_{n}\right) \propto P(y) \prod_{i=1}^{n} P\left(x_{i} | y\right) \hat{y}=\arg \max _{y} P(y) \prod_{i=1}^{n} P\left(x_{i} | y\right)$
在实际使用中，特征会很多，概率 $p(x_i|y)$ 通常会比较小，直接相乘会下溢，因此我们可以取对数，把概率的乘法变成log域的加法。p(y)可以简单地用最大似然的方法从训练数据中估计出来。而 $p(x_i|y)$ 可以有多种不同的分布，从而得到不同的朴素贝叶斯模型的具体实现。

高斯朴素贝叶斯(Gaussian Naive Bayes)模型

$P\left(x_{i} | y\right)=\frac{1}{\sqrt{2 \pi \sigma_{y}^{2}}} \exp \left(-\frac{\left(x_{i}-\mu_{y}\right)^{2}}{2 \sigma_{y}^{2}}\right)$
因此它适合特征是集中分布于某个中心点的连续特征。

from sklearn import datasets
iris = datasets.load_iris()
from sklearn.naive_bayes import GaussianNB
gnb = GaussianNB()
y_pred = gnb.fit(iris.data,iris.target).predict(iris.data)
print("Number of mislabeled points of a total %d points : %d"
% (iris.data.shape[0],(iris.target != y_pred).sum()))

输出

Number of mislabeled points of a total 150 points : 6

Bernoulli朴素贝叶斯模型

Bernoulli朴素贝叶斯模型假设似然概率服从二项分布，也就是特征 $x_i$ 是二值特征。为了使用Bernoulli朴素贝叶斯模型，我们需要对输入进行二值化。比如朴素贝叶斯模型来进行垃圾邮件过滤。假设词典的大小是1000,那么每一个邮件都可以表示成一个1000维的向量。如果某个词在邮件里出现了，那么对应的位置的值就是1，否则就是0.

因此 $p(x_i|y=1)$ 是一个Bernoulli分布，它有一个参数 $p_1$ ，表示 $p(x_i=1|y=1)=p_1$ ,而 $p(x_i=0|y=1)=1-p_1$ 。类似的 $p(x_i|y=0)$ 也是一个Bernoulli分布，它的参数是 $p_0$ 。注意， $p_0$ 和 $p_1$ 没有任何关系。

要估计 $p_1$ ,首先统计一下训练数据里有多少个邮件的分类是1(垃圾)，记为 $N_1$ ,接着统计这些邮件里有多少封出现了词1，记为 $N_{11}$ ,那么 $\hat{p_1}=N_{11}/N_1$ 。

和语言模型一样，很多词没有在训练数据中，或者只在正/负样本里出现，从而出现概率为零的情况，我们可以采取平滑方法。

多项式朴素贝叶斯模型

Bernoulli朴素贝叶斯模型的问题是不考虑一个词在文档中出现的频率，这是有一些问题的。而多项式朴素贝叶斯可以利用词频信息。多项式朴素贝叶斯也是把一篇文档变成长度为N(词典大小)的向量，某个词在文档中出现的次数就是对应位置的值，和Bernoulli相比，Bernoulli模型的特征是二值的而多项式模型的特征不是。

假设所有的类别集合是C，词典的大小是N，第i个文档是 $t_i$ 。那么分类的时候需要计算后验概率：
$\operatorname{Pr}\left(c | t_{i}\right)=\frac{\operatorname{Pr}\left(t_{i} | c\right) \operatorname{Pr}(c)}{\operatorname{Pr}\left(t_{i}\right)}$
分母与C无关，因此可以忽略， $P r (c)$ 是分类C的先验概率，而 $Pr(t_i|c)$ 是分类C"生成"文档 $t_i$ 的概率。这个概率我们假设它服从多项式分布：
$\operatorname{Pr}\left(t_{i} | c\right)=\left(\sum_{n} f_{n i}\right) ! \prod_{n} \frac{\operatorname{Pr}\left(w_{n} | c\right)^{f_{n i}}}{f_{n i} !}$
上式的n是词典里的第n个词， $f_{ni}$ 表示第n个词 $w_n$ 在文档t中出现的次数， $Pr(w_n|c)$ 是类别c的文档产生词 $w_n$ 的概率。上式的核心是 $\prod_{n} \operatorname{Pr}\left(w_{n} | c\right)^{f_{n i}}$ ，其余的阶乘只是为了归一化。

假设一篇文档中有5个词，2个hello，2个world，1个bye，则它们组成的不重复文档共有 $\frac{5 !}{2 ! 2 ! 1 !}$ 。

推广一些，假设文档的词频向量为 $f_1,f_2,...f_n$ , $f_i$ 表示第i个词出现的频次，那么不重复的文档数为 $\frac{\left(\sum_{i=1}^{n} f_{i}\right) !}{\prod_{i=1}^{n} f_{i} !}$ 。

而我们的多项式分布假设文档的表示与顺序无关，也就是词袋模型。因此文档 $Pr(t_i|c)$ 的概率可以这样来理解：如果不考虑重复，那么 $\operatorname{Pr}\left(t_{i} | c\right)=\prod_{i=1}^{n} \operatorname{Pr}\left(w_{n} | c\right)^{f_{n i}}$ ，但是那些重复的都应该算到这篇文档里，乘起来就得到了
$\operatorname{Pr}\left(t_{i} | c\right)=\left(\sum_{n} f_{n i}\right) ! \prod_{n} \frac{\operatorname{Pr}\left(w_{n} | c\right)^{f_{n i}}}{f_{n i} !}$ 。

在分类的时候，因为 $\left(\sum_{n} f_{n i}\right) !, \prod_{n} \frac{1}{f_{n i}}$ 与c无关，因此可以看出归一化常量，所以只需要计算 $\prod_{i=1}^{n} \operatorname{Pr}\left(w_{n} | c\right)^{f_{n i}}$ 。问题的关键就是估计参数 $\operatorname{Pr}(w_n|c)$ ，我们可以用最大似然估计，为了避免数据稀疏带来的零概率问题，我们加入了Laplace平滑，计算公式如下:
$\widehat{\operatorname{Pr}}\left(w_{n} | c\right)=\frac{1+F_{n c}}{N+\sum_{x=1}^{N} F_{x c}}$
假设共有3个词，分类c有两篇文档

w1 w2 w1
w2 w1

那么 $F_{1c}=3,F_{2c}=2,F_{3c}=0$ ,如果不加光滑， $\operatorname{Pr}\left(w_{1} | c\right)=3 / 5, \operatorname{Pr}\left(w_{2} | c\right)=2 / 5, \operatorname{Pr}\left(w_{3} | c\right)=0$ 。如果加1平滑，我们可以认为新的计数为 $F_{1 c}=4, F_{2 c}=3, F_{3 c}=1$ ，因此， $\operatorname{Pr}\left(w_{1} | c\right)=4 / 8, \operatorname{Pr}\left(w_{2} | c\right)=3 / 8, \operatorname{Pr}\left(w_{3} | c\right)=1 / 8$ 。

因此进行参数估计需要得到一个文档-词频矩阵Count，每一行表示一个文档，每一列表示一个词，Count(ij)表示文档i中出现词j的次数。在文本分类中，常用tf-idf替代原始Count矩阵，这样做的好处是降低高频词的计数。

支持向量机

支持向量机是一种二分类模型。它是定义在特征空间上的、间隔最大的线性分类器。

间隔最大的使得支持向量机有别于感知机。如果数据集是可分的，那么感知机获得的模型可能有很多个，但是支持向量机选择的是间隔最大的那个
支持向量机还支持核技巧，从而使它成为实质上的非线性分类器。

支持向量机支持处理线性可分数据集、非线性可分数据集。

当训练数据线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机（也称作硬间隔支持向量机）。
当训练数据近似线性可分时，通过软间隔最大化，学习一个线性分类器，即线性可分支持向量机（也称为软间隔支持向量机）。
当训练数据不可分时，通过使用核技巧以及硬间隔最大化，学习一个非线性分类器，即非线性支持向量机。

当输入空间为欧式空间或离散集合、特征空间为希尔伯特空间时，将输入向量从输入空间映射到特征空间，得到特征向量。
支持向量机的学习是在特征空间进行的。

线性可分支持向量机、线性支持向量机假设这两个空间的元素一一对应，并将输入空间中的输入映射为特征空间中的特征向量。
非线性支持向量机利用一个从输入空间到特征空间的非线性映射将输入映射为特征向量。特征向量之间的内积就是和函数，使用和函数可以学习非线性支持向量机。非线性支持向量机等价于隐式的在高维的特征空间中学习线性支持向量机，这种方法叫核技巧。

线性可分支持向量机

给定一个特征空间上的训练数据 $\mathbb{D}=\left\{\left(\overrightarrow{\mathbf{x}}_{1}, \tilde{y}_{1}\right),\left(\overrightarrow{\mathbf{x}}_{2}, \tilde{y}_{2}\right), \cdots,\left(\overrightarrow{\mathbf{x}}_{N}, \tilde{y}_{N}\right)\right\}$ ，其中 $\overrightarrow{\mathbf{x}}_{i} \in \mathcal{X}=\mathbb{R}^{n}, \tilde{y}_{i} \in \mathcal{Y}=\{+1,-1\}, i=1,2, \cdots, N$ 。
$\overrightarrow{\mathbf{x}}_{i} \in \mathcal{X}=\mathbb{R}^{n}, \tilde{y}_{i} \in \mathcal{Y}=\{+1,-1\}, i=1,2, \cdots, N$ 。
$\overrightarrow{\mathbf{x}}_i$ 为第 $i$ 个特征向量，也称作实例； $\tilde{y}_{i}$ 为 $\overrightarrow{\mathbf{x}}_i$ 的类标记； $\left(\overrightarrow{\mathbf{x}}_{i}, \tilde{y}_{i}\right)$ 为样本点。

当 $\tilde{y}_{i}=+1$ 时，称 $\overrightarrow{\mathbf{x}}_i$ 为正例。
当 $\tilde{y}_i=-1$ 时，称 $\overrightarrow{\mathbf{x}_i}$ 为负例。

给定线性可分训练集，通过间隔最大化学习得到的分离超平面为： $\overrightarrow{\mathbf{w}}^{*} \cdot \overrightarrow{\mathbf{x}}+b^{*}=0$ ，相应的决策函数: $f(\vec{x})=\operatorname{sign}\left(\vec{w}^{*} \cdot \vec{x}+b^{*}\right)$ ，称之为线性可分支持向量机。

函数间隔

可以将一个点距离分离超平面的远近来表示分类预测的可靠程度：

一个点距离分离超平面越远，则该点的分类越可靠。
一个点距离分离超平面越近，则该点的分类则不那么确信。

在超平面 $\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}+b=0$ 确定的情况下：

$\left|\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right|$ 能够相对地表示点 $\overrightarrow{\mathbf{x}}_i$ 距离超平面的远近。
$\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b>0$ 的符号与类标记 $\overrightarrow{\mathbf{x}}_i$ 位于超平面上方，将 $\overrightarrow{\mathbf{x}}_i$ 预测为正类。此时若 $\tilde{y}=+1$ 则分类正确，否则分类错误。
$\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b<0$ 的符号与类标记 $\overrightarrow{\mathbf{x}}_i$ 位于超平面下方，将 $\overrightarrow{\mathbf{x}}_i$ 预测为负类。此时若 $\tilde{y}=-1$ 则分类正确，否则分类错误。

对于给定的训练数据集 $\mathbb{D}$ 和超平面 $(\overrightarrow{\mathbf{w}},b)$

定义超平面 $(\overrightarrow{\mathbf{w}},b)$ 关于样本点的函数间隔为： $\hat{\gamma}_{i}=\tilde{y}_{i}\left(\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right)$
定义超平面 $(\overrightarrow{\mathbf{w}},b)$ 关于训练集 $\mathbb{D}$ 的函数间隔为：超平面 $(\overrightarrow{\mathbf{w}},b)$ 关于 $\mathbb{D}$ 中的所有样本点 $\left(\overrightarrow{\mathbf{x}}_{i}, \tilde{y}_{i}\right)$ 的函数间隔之最小值： $\hat{\gamma}=\min _{\mathbb{D}} \hat{\gamma}_{i}$ 。

几何间隔

如果成比例的改变 $\overrightarrow{\mathbf{w}}$ 和 $b$ ，比如将它们改变为 $100\overrightarrow{\mathbf{w}}$ 和 $100 b$ ，超平面 $\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}+100 b=0$ 还是原来的超平面，但是函数间隔却称为原来的100倍。
因此需要对分离超平面施加某些约束，如归一化，令 $||\overrightarrow{\mathbf{w}}||_2 = 1$ ，使得函数间隔是确定的，此时函数间隔成为几何间隔。
由定义可知函数间隔和几何间隔有下列的关系： $\gamma_{i}=\frac{\hat{\gamma}_{i}}{\|\overrightarrow{\mathbf{w}}\|_{2}}, \quad \gamma=\frac{\hat{\gamma}}{\|\overrightarrow{\mathbf{w}}\|_{2}}$

当 $||\overrightarrow{\mathbf{w}}||_2 = 1$ 时，函数间隔与几何间隔相等。
当超平面参数 $\overrightarrow{\mathbf{w}},b$ 等比例改变时，超平面没有变化，函数间隔也按比例改变，几何间隔保持不变。

硬间隔最大化

求解几何间隔最大的分离超平面可以表示为约束的最优化问题：
$\begin{array}{c}{\max _{\overrightarrow{\mathbf{w}}, b} \gamma} \\ {\text { s.t. } \quad \tilde{y}_{i}\left(\frac{\overrightarrow{\mathbf{w}}}{\|\overrightarrow{\mathbf{w}}\|_{2}} \cdot \overrightarrow{\mathbf{x}}_{i}+\frac{b}{\|\overrightarrow{\mathbf{w}}\|_{2}}\right) \geq \gamma, i=1,2, \cdots, N}\end{array}$
考虑几何间隔和函数间隔的关系，改写问题为：
$\begin{array}{c}{\max _{\overrightarrow{\mathbf{w}}, b} \frac{\hat{\gamma}}{\|\overrightarrow{\mathbf{w}}\|_{2}}} \\ {\text {s.t. } \quad \tilde{y}_{i}\left(\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right) \geq \hat{\gamma}, i=1,2, \cdots, N}\end{array}$
函数间隔 $\hat{\gamma}$ 的大小并不影响最优化问题的求解。因此取 $\hat{\gamma}=1$ ，则最优化问题该写为：
$\begin{array}{c}{\max _{\overrightarrow{\mathbf{w}}, b} \frac{1}{\|\overrightarrow{\mathbf{w}}\|_{2}}} \\ {\text {s.t. } \quad \tilde{y}_{i}\left(\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right) \geq 1, i=1,2, \cdots, N}\end{array}$
从而等价于：
$\begin{array}{c}{\min _{\overrightarrow{\mathbf{w}}, b} \frac{1}{2}\|\overrightarrow{\mathbf{w}}\|_{2}^{2}} \\ {\text {s.t. } \quad \tilde{y}_{i}\left(\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right)-1 \geq 0, i=1,2, \cdots, N}\end{array}$
这是一个凸二次规划问题。
线性可分支持向量机原始算法：

输入：线性可分训练集 $\mathbb{D}=\left\{\left(\overrightarrow{\mathbf{x}}_{1}, \tilde{y}_{1}\right),\left(\overrightarrow{\mathbf{x}}_{2}, \tilde{y}_{2}\right), \cdots,\left(\overrightarrow{\mathbf{x}}_{N}, \tilde{y}_{N}\right)\right\}$ ，其中 $\overrightarrow{\mathbf{x}}_{i} \in \mathcal{X}=\mathbb{R}^{n}, \tilde{y}_{i} \in \mathcal{Y}=\{+1,-1\}, i=1,2, \cdots, N$
输出：
- 最大几何间隔的分离超平面
- 分类决策函数
算法步骤：
- 构造并且求解约束最优化问题：
  $\begin{array}{c}{\min _{\overrightarrow{\mathbf{w}}, b} \frac{1}{2}\|\overrightarrow{\mathbf{w}}\|_{2}^{2}} \\ {\text {s.t. } \quad \tilde{y}_{i}\left(\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right)-1 \geq 0, i=1,2, \cdots, N}\end{array}$
  求得最优解 $\overrightarrow{\mathbf{w}}^*$ , $b^*$
  由此得到分离超平面： $\overrightarrow{\mathbf{w}}^{*} \cdot \overrightarrow{\mathbf{x}}+b^{*}=0$ ，以及分类决策函数： $f(\overrightarrow{\mathbf{x}})=\operatorname{sign}\left(\overrightarrow{\mathbf{w}}^{*} \cdot \overrightarrow{\mathbf{x}}+b^{*}\right)$ 。
  可以证明：若训练数据集 $\mathbb{D}$ 线性可分，则可将训练数据集中的样本点完全正确分开的超平面存在且唯一。

对偶算法

将线性可分支持向量机的最优化问题作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。这就是线性支持向量机的对偶算法。
对偶问题的有点：对偶问题往往更容易求解，引入了核函数，进而推广到非线性分类问题。
原始问题：
$\begin{array}{c}{\operatorname{min}_{{\overrightarrow{\mathbf{w}}, b}} \frac{1}{2}\|\overrightarrow{\mathbf{w}}\|_{2}^{2}} \\ {\text {s.t. } \quad \tilde{y}_{i}\left(\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right)-1 \geq 0, i=1,2, \cdots, N}\end{array}$
定义拉格朗日函数：
$L(\overrightarrow{\mathbf{w}}, b, \vec{\alpha})=\frac{1}{2}\|\overrightarrow{\mathbf{w}}\|_{2}^{2}-\sum_{i=1}^{N} \alpha_{i} \tilde{y}_{i}\left(\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right)+\sum_{i=1}^{N} \alpha_{i}$
其中 $\vec{\alpha}=\left(\alpha_{1}, \alpha_{2}, \cdots, \alpha_{N}\right)^{T}$ 为拉格朗日乘子向量。
根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
$\max _{\vec{\alpha}} \min _{\overrightarrow{\mathbf{w}}, b} L(\overrightarrow{\mathbf{w}}, b, \vec{\alpha})$
先求 $\max _{\vec{\alpha}} \min _{\overrightarrow{\mathbf{w}}, b} L(\overrightarrow{\mathbf{w}}, b, \vec{\alpha})$ 。拉格朗日函数分别为 $\overrightarrow{\mathbf{w}},b$ 求偏导数，并令其为0
$\begin{array}{c}{\nabla_{\overrightarrow{\mathbf{w}}} L(\overrightarrow{\mathbf{w}}, b, \vec{\alpha})=\overrightarrow{\mathbf{w}}-\sum_{i=1}^{N} \alpha_{i} \tilde{y}_{i} \overrightarrow{\mathbf{x}}_{i}=0} \\ {\nabla_{b} L(\overrightarrow{\mathbf{w}}, b, \vec{\alpha})=\sum_{i=1}^{N} \alpha_{i} \tilde{y}_{i}=0} \\ {\Rightarrow \overrightarrow{\mathbf{w}}=\sum_{i=1}^{N} \alpha_{i} \tilde{y}_{i} \overrightarrow{\mathbf{x}}_{i}, \quad \sum_{i=1}^{N} \alpha_{i} \tilde{y}_{i}=0}\end{array}$
代入拉格朗日函数：
$\begin{aligned} L(\overrightarrow{\mathbf{w}}, b, \vec{\alpha})=-\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} \tilde{y}_{i} \tilde{y}_{j}\left(\overrightarrow{\mathbf{x}}_{i} \cdot \overrightarrow{\mathbf{x}}_{j}\right)+\sum_{i=1}^{N} \alpha_{i} \end{aligned}$

对偶问题的极大值为：
$\begin{array}{c}{\max _{\overline{\alpha}}-\frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} \tilde{y}_{i} \tilde{y}_{j}\left(\overrightarrow{\mathbf{x}}_{i} \cdot \overrightarrow{\mathbf{x}}_{j}\right)+\sum_{i=1}^{N} \alpha_{i}} \\ {\quad s . t . \sum_{i=1}^{N} \alpha_{i} \tilde{y}_{i}=0} \\ {\alpha_{i} \geq 0, i=1,2, \cdots, N}\end{array}$
线性支持向量机的对偶算法：
输入：线性可分训练数据集 $\mathbb{D}=\left\{\left(\overrightarrow{\mathbf{x}}_{1}, \tilde{y}_{1}\right),\left(\overrightarrow{\mathbf{x}}_{2}, \tilde{y}_{2}\right), \cdots,\left(\overrightarrow{\mathbf{x}}_{N}, \tilde{y}_{N}\right)\right\}$ ，其中 $\overrightarrow{\mathbf{x}}_{i} \in \mathcal{X}=\mathbb{R}^{n}, \tilde{y}_{i} \in \mathcal{Y}=\{+1,-1\}, i=1,2, \cdots, N$
输出：
最大几何间隔的分离超平面
分类决策函数
算法步骤：
构造并求解约束最优化问题：
$\begin{array}{c}{\min _{\overline{\alpha}} \frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} \tilde{y}_{i} \tilde{y}_{j}\left(\overrightarrow{\mathbf{x}}_{i} \cdot \overrightarrow{\mathbf{x}}_{j}\right)-\sum_{i=1}^{N} \alpha_{i}} \\ {\text { s.t. } \sum_{i=1}^{N} \alpha_{i} \tilde{y}_{i}=0} \\ {\alpha_{i} \geq 0, i=1,2, \cdots, N}\end{array}$
求得最优解 $\vec{\alpha}^{*}=\left(\alpha_{1}^{*}, \alpha_{2}^{*}, \cdots, \alpha_{N}^{*}\right)^{T}$ 。
计算 $\overrightarrow{\mathbf{w}}^{*}=\sum_{i=1}^{N} \alpha_{i}^{*} \tilde{y}_{i} \overrightarrow{\mathbf{x}}_{i}$ 。
选择 $\overrightarrow{\alpha}^*$ 的一个正的分量 $\alpha_j^*>0$ ，计算 $b^{*}=\tilde{y}_{j}-\sum_{i=1}^{N} \alpha_{i}^{*} \tilde{y}_{i}\left(\overrightarrow{\mathbf{x}}_{i} \cdot \overrightarrow{\mathbf{x}}_{j}\right)$
由此得到分离超平面： $\overrightarrow{\mathbf{w}}^{*} \cdot \overrightarrow{\mathbf{x}}+b^{*}=0$ ，以及分类决策函数： $f(\overrightarrow{\mathbf{x}})=\operatorname{sign}\left(\overrightarrow{\mathbf{w}}^{*} \cdot \overrightarrow{\mathbf{x}}+b^{*}\right)$ 。

线性软间隔支持向量机

对每个样本点 $\left(\overrightarrow{\mathbf{x}}_{i}, \tilde{y}_{i}\right)$ 引入一个松弛变量 $\xi_{i} \geq 0$ ，使得函数间隔加上松弛变量大于等于1，即约束条件变成了： $\tilde{y}_{i}\left(\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}\right) \geq 1-\xi_{i}$ 。
对每个松弛变量 $\xi_i$ ，目标函数由原来的 $\frac{1}{2}||\overrightarrow{\mathbf{w}}||^2_2$ 变成：
$\min \frac{1}{2}\|\overrightarrow{\mathbf{w}}\|_{2}^{2}+C \sum_{i=1}^{N} \xi_{i}$
这里 $C > 0$ 称为惩罚参数，一般由应用问题决定。

C值大时，对误分类的惩罚增大，此时误分类点凸显的更重要
C值较大时，对误分类的惩罚增加，此时误分类点比较重要。
C值较小时，对误分类的惩罚减小，此时误分类点相对不重要

于是线性不可分支持向量机的原始学习问题为：
$\begin{array}{c}{\min _{\overrightarrow{\mathbf{w}}, b, \overline{\xi}} \frac{1}{2}\|\overrightarrow{\mathbf{w}}\|_{2}^{2}+C \sum_{i=1}^{N} \xi_{i}} \\ {\text {s.t. } \quad \tilde{y}_{i}\left(\overrightarrow{\mathbf{w}} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right) \geq 1-\xi_{i}, \quad i=1,2, \cdots, N} \\ {\xi_{i} \geq 0, \quad i=1,2, \cdots, N}\end{array}$

对偶问题：
定义拉格朗日函数
$\begin{aligned} L(\overrightarrow{\mathbf{w}}, b, \vec{\xi}, \vec{\alpha}, \vec{\mu})=\frac{1}{2}\|\overrightarrow{\mathbf{w}}\|_{2}^{2}+C \sum_{i=1}^{N} \xi_{i} &-\sum_{i = 1}^{N} \alpha_{i}\left[\tilde{y}_{i}\left(\overrightarrow{\mathbf{w}}_{i} \cdot \overrightarrow{\mathbf{x}}_{i}+b\right)-1+\xi_{i}\right]-\sum_{i=1}^{N} \mu_{i} \xi_{i} \\ \alpha_{i} & \geq 0, \mu_{i} \geq 0 \end{aligned}$
可以得到对偶问题：
$\begin{array}{c}{\min _{\tilde{\alpha}} \frac{1}{2} \sum_{i=1}^{N} \sum_{j=1}^{N} \alpha_{i} \alpha_{j} \tilde{y}_{i} \tilde{y}_{j}\left(\overrightarrow{\mathbf{x}}_{i} \cdot \overrightarrow{\mathbf{x}}_{j}\right)-\sum_{i=1}^{N} \alpha_{i}} \\ {\text { s.t. } \sum_{i=1}^{N} \alpha_{i} \tilde{y}_{i}=0} \\ {0 \leq \alpha_{i} \leq C, i=1,2, \cdots, N}\end{array}$

nht1996

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
NLP-Task5——朴素贝叶斯和支持向量机原理

朴素贝叶斯分类器简介假定输入的特征是x1,x2,...,xnx_1,x_2,...,x_nx1,x2,...,xn，输出的分类是y，朴素贝叶斯模型使用贝叶斯公式计算后验概率：P(y∣x1,…,xn)=P(y)P(x1,…xn∣y)P(x1,…,xn)P\left(y | x_{1}, \ldots, x_{n}\right)=\frac{P(y) P\left(x_{1}, \ldo...
复制链接

扫一扫