The Gaussian Process Approach(GP)
所谓概率模型,是指训练模型的形式是P(Y|X)。输入是X,输出是Y,训练后模型得到的输出不是一个具体的值,而是一系列的概率值(对应于分类问题来说,就是输入X对应于各个不同Y(类)的概率),然后我们选取概率最大的那个类作为判决对象(软分类–soft assignment)。所谓非概率模型,是指训练模型是一个决策函数Y=f(X),输入数据X是多少就可以投影得到唯一的Y,即判决结果(硬分类–hard assignment)
高斯混合模型概述
1.1. 单高斯模型(Single GaussianModel, SGM)
N(x;μ,C)=1(2π)n|C|√exp[−12(x−μ)TC−1(x−μ)] (1)
对于单高斯模型,由于可以明确训练样本是否属于该高斯模型(如训练人脸肤色模型时,将人脸图像肤色部分分割出来,形成训练集),故μ通常由训练样本均值代替,由样本方差代替。为了将高斯分布用于模式分类,假设训练样本属于类别K,那么,式(1)可以改为如下形式:
N(x/K)=1(2π)n|C|√exp[−12(x−μ)TC−1(x−μ)] (2)
式(2)表明样本属于类别K的概率大小。从而将任意测试样本输入式(2),均可以得到一个标量,然后根据阈值t来确定该样本是否属于该类别,阈值t可以为经验值,也可以通过实验确定。
1.2高斯混合模型(Gaussian Mixture Model,GMM)
高斯混合模型就是用高斯概率密度函数(正态分布曲线)精确地量化事物,它是一个将事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。s是单一高斯概率密度函数的延伸。
假设有一批观测数据
假设每个高斯模型在混合模型所占的比例
p(xi)=∑Mj=1αjNj(xj;μj,Cj),∑Mj=1αj=1
其中 Nj(x;μj,Cj)=1(2π)n|Cj|√exp[−12(x−μj)TC−1j(X−μj)]
表示第j个的单一高斯模型。其中 μ 表示x数学期望或均值,C表示协方差矩阵。
令 φj=(αj,μj,Cj) ,GMM一共有M个SGM,通过样本集X来估计来估计GMM的所有参数: 令 Φ=(φ1,φ2,...,φM)T ,样本X的概率公式为:
p(X|Φ)=∏Ni=1∑Mj=1αjNj(Xi;μj,Cj)
通过EM(Expectation Maximum)算法对GMM参数进行估计。
算法流程:
(1)初始化
方案1:协方差矩阵 Cj0 设为单位矩阵,每个模型比例的先验概率 αj0=1/M ,均值 μj0 设为随机数。
(2)估计步骤(E-step)