模式识别学习笔记——判别函数和高斯分布

关于高斯分布的一些知识，强烈推荐B站白板推导机器学习系列。我的ML作业好多都是跟着UP主学的_(:з)∠)_

判别函数

 看到判别函数，我的第一反应是想起来上学期花了好久才有一点明白的“生成模型”和“判别模型”。

个人理解：生成模型旨在找出样本遵循的分布信息（感觉还是想逼近真正的分布），要对样本进行研究。然后利用学到的分布信息，对新的样本进行分类。判别模型更像是制作一种数学机器，用于分类，然后用样本来调整这台机器的参数，让它在某种指标下尽可能最优，实际上并不会关心这些样本到底是呈一种怎样的分布。

 形式： $g_i(x),i=1,...,c$

 每个类别 ${\omega }_i$ 都有一个判别函数 $g_i(x)$，把样本 $x$ 扔给每个判别函数，最后取值最大的那个为样本的分类。

• Two-class Classification

 二分类算是一个非此即彼的分类，所有只需要一个判别函数就可以解决问题。

 形式：$g(x)\equiv g_1(x)-g_2(x)$，if $g(x)\ge 0$ , decide ${\omega }_1$ , otherwise decide ${\omega }_2$

• 判别区域 and 判别边界

高斯分布

 这部分主要结合之前学的贝叶斯决策论

 先把高斯分布的概率密度函数写出来：

• 单高斯：

$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

• 多高斯：

p ( x ) = 1 ( 2 π ) p / 2 ∣ Σ ∣ 1 / 2 e − 1 2 ( x − μ ) T Σ − 1 ( x − μ )