概率论
在机器学习的领域中,经常使用后验概率来实现执果索引的目的,常用的公式表述为:
其中,P(X | Y) 为随机事件Y发生的前提下,随机事件X发生的概率,也成为后验概率,P(X)为先验项或先验概率,P(Y | X)为似然项,P(Y)为随机变量Y的先验概率或边缘概率,也成为标准化常量。
参数估计
最大似然估计
针对模型已定,参数未知,提供了一种给定数据来评估模型参数的方法。
假设数据集 x1,x2,…xN 为独立同分布的采样,f为已知的模型(如服从高斯分布,拉普拉斯分布等), θ 为模型的参数。
根据独立同分布的假设:
其似然函数的定义为:
参数 θ 的最大似然估计是通过最大化似然函数,使得求出的 θ 值与实际观察中的训练样本最相符,即
实际应用中,常利用最大化平均对数似然,即
需要注意的是,最大似然估计只是参数估计的一种方法,通过若干次独立同分布的实验,观察其结果,利用结果推算出参数的大概值。
分类
对于分类问题也可以用最大似然估计来进行优化,考虑到计算问题,我们竟然使用最小化负对数似然损失函数,级 {xi,ji}Ni=1 。其中 xi∈Rn 为输入,输入目标为 yi∈{1,2,…,C} , 学习模型为 y=f(x,θ) ,由于目标为离散的类别,所以通过计算输出每个类的条件概率来界定损失函数,即
得到的负对数似然函数为:
进一步,最终的目标函数为:
通常这种方法也被称为交叉熵损失函数