MLLT(最大似然线性变换)

主要目的是:在最大似然(ML)准则下使用一个线性变换矩阵对参数特征矢量进行解相关。

在ML准则下,评价一个模型‘好坏’的标准是训练数据与模型匹配的似然度,如果似然度越高的话,我们说这个模型越好。MLLT的作者给出了在最大似然准则下(ML)使用对角协方差矩阵的缺点,及其对训练数据集描述似然度的损失。

在原特征空间,建立模型,匹配训练数据,得到似然度P。考虑在特征空间做一个线性变换, yi=Axi ,然后在新的特征空间进行建模、匹配,同样得到一个新的似然度 Py 。由于似然度分别在两个不同空间计算,所以不能直接相比,解决的办法有两个,一个是限制 |A|=1 ,另一个办法就是将似然度变换回原空间的尺度: P(XN1,{ μi}x,{ Σi}x)=Py(yN1,{ μi}y{ Σi}y)Mi=1|A|Ni 。这里,采用第一个限制来叙述,即采取限制 |A|=1

为简单起见,采取单高斯模型来分析,在原特征空间,单高斯模型对训练数据的似然度为

P=a(N,d)exp(12N[(μ¯μ)TΣ1(μ¯μ)+Tr(Σ1
  • 5
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
最大然估计是一种参数估计方法,可用于线性回归模型。在线性回归中,我们假设响应变量y与自变量x之间存在一个线性关系。最大然估计的目标是找到一组参数,使得给定数据样本下观测到的概率最大化。 具体来说,在线性回归中,我们通常使用高斯分布作为误差项的分布。假设我们的线性回归模型如下: y = β0 + β1*x + ε 其中,y是响应变量,x是自变量,β0和β1是待估计的参数,ε是服从均值为0、方差为σ^2的高斯分布的误差项。 我们可以将观测到的数据表示为{(xi, yi)},其中i表示第i个样本。最大然估计的思想是找到一组参数,使得给定数据下的观测到的概率最大化。 在线性回归中,我们假设各个样本之间是独立同分布的,即每个样本的观测值是相互独立的。根据高斯分布的概率密度函数,我们可以写出给定参数下每个观测值的概率: P(yi | xi, β0, β1) = (1/√(2πσ^2)) * exp(-(yi - (β0 + β1*xi))^2 / (2σ^2)) 最大然估计的目标是最大化所有样本的概率乘积,即: L(β0, β1) = ∏(1/√(2πσ^2)) * exp(-(yi - (β0 + β1*xi))^2 / (2σ^2)) 为了方便计算,通常取对数转化为求和的形式,即对数然函数: log L(β0, β1) = Σ(log(1/√(2πσ^2)) - (yi - (β0 + β1*xi))^2 / (2σ^2)) 最大然估计即为找到使得对数然函数取得最大值的参数值。可以通过最优化算法(如梯度下降)来求解最大然估计。 最大然估计的结果会给出最符合观测数据的参数估计值,使得模型能够最好地解释数据。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值