均值归一化_机器学习总结（算法）：高斯、高斯过程、SVM、归一化

高斯

高斯判别分析(GDA)

对于高维空间中的一般似然和先验函数，很难用贝叶斯定理进行推断。但是，如果使用已知的分布函数对它们建模是可行的，我们可以设法通过分析轻松地解决它们。考虑一个分类问题，将对象分组为苹果或橙子。假设分布p(x | y = apple)和p(x | y = orange)都可以用多元高斯分布建模。对于100×100的图像，x将包含100×100×3的特征(像素颜色RGB)。这是多元高斯分布的通用公式。

使用训练数据集，我们从每个图像中相同的空间位置(i，j)计算每个特征的平均值。下面的μ0将是一个30000维向量，包含这些特征的均值，对象是苹果。在计算μ1时，我们对orange重复同样的过程。

这里是定义

然而，我们简化了这个问题，所以我们对条件概率p(x|y=0)和p(x|y=1)共享相同的协方差矩阵。这个矩阵将使用来自组合数据(苹果和桔子)的图像来计算。由于这种简化，两个条件分布的形状是相同的。如下图所示，在划分类时，我们可以很容易地在两种模式之间画出一个决策边界。

我们可以删除我们的简化并分别计算两个协方差矩阵。但是，决策边界将是非线性的。实际上，受Σ形状的影响，它会变得非常复杂。

贝叶斯线性回归

如果用高斯分布对先验和似然进行建模是可行的，我们会这样做，因为后验是高斯分布的，可以很容易地进行分析计算。

让我们举一个使用贝叶斯定理和线性回归来建立模型的例子。我们的目标是使用MAP 找到模型参数θ 。

通过将先验和似然性都建模为高斯，MAP变为

上面的后验实际上是高斯分布的，即使它不是很明显。我们想要找到对应的均值μ和协方差Σ。

首先，我们可以将高斯定义扩展为

通过将其与方程进行比较，我们发现μ和Σ为：

预测分布

为了做出预测，我们可以将后验分布边缘化，即∫p(y|w)p(w)dw

同样，我们可以通过分析来解决积分问题