AI-语音处理理论和应用-HMM

学习目标
   • 了解语音处理的基础知识及应用
   • 掌握语音处理的基本步骤
   • 掌握语音处理的主要技术
   • 了解语音处理的难点与展望

HMM
   马尔科夫链
      • 某同类商品A，B，C的宣传力度不同，顾客在广告宣传的效应下第一次尝试选择购买商品A，B，C的概率分别是0.2，0.4，0.4。顾客的购买倾向为下表，求某顾客第4购买各商品的概率。

      • 三要素：
         • 初始概率：π=（0.2,0.4,0.4）
         • 转移概率：p_AA=0.8,p_AB=0.1, p_AC=0.1, p_BA=0.5,……
         • 转移概率矩阵：
               
      • 求解：
         • 马尔科夫链模型：
         • P(X_(n+1)=x│X_1=x_1,X_2=x_2,…,X_n=x_n )=P(X_(n+1)=x|X_n=x_n)
         • 第三次概率： P_AAA= ?
      • 马尔可夫链，是指数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去对于预测将来是无关的，只与当前状态有关。
      • 在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。

      • 原理：
         • 马尔可夫链描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列。这些变量的范围，即它们所有可能取值的集合，被称为“状态空间”。
      • 性质：
         • 正定性：状态转移矩阵中的每一个元素被称为状态转移概率，由概率论知识可知，每个状态转移概率皆为正数，公式可表示为：p_ij (k)≥0
         • 有限性：根据概率论知识，状态转移矩阵中的每一行相加皆为1，用公式可表示为:∑▒p_ij =1
   可观测马尔科夫模型
      • 对弈一个问题而言，我们有初始分布π，转移概率矩阵A，在给定的任意一个时刻t，我们都有一个状态Q_t；一个状态随着时间的变化转移到另一个状态，由此便能得到一个观测序列，即为状态序列O=[q_1,q_2,q_3,q_4,…,q_n]。且整个问题中总共有n个观察状态。
      • 出现这样的序列的概率为：
$$P\left(O\mid A,\pi \right)=P(q_1)\prod _{t=2}^{m}P(q_t\mid q_{t-1})$$
      • 所以一个可观测的马尔科夫模型由一个三元组描述: (A,π,n),一般情况下可以简写为：(A,π)。
   穷举法
      • 如果我们穷举了所有的观测序列……
      • π_i=以状态i开始的序列的数目/序列总数
      • p_ij=从状态i转移到状态j的序列的数目/从状态i序列总数
      • [红，红，红][红，红，蓝][红，蓝，红][蓝，红，红]
      • π={0.75,0.25}
      • p_红蓝=1/3〖， p〗红红 〖=2/3，p〗蓝蓝=0，p_蓝红=1
   隐马尔科夫模型
      • 隐马尔可夫模型（Hidden Markov Model,HMM）是马尔可夫链的一种，它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程----具有一定状态数的隐马尔可夫链和显示随机函数集。
      • HMM可以用5个元素来描述:
         • 观测集合：R={R_1 〖,R〗2,R(3,…,) R_m }
         • 观测序列：O={o_1 〖,o〗2,o(3,…,) o_l }
         • 状态集合：S={S_1 〖,S〗2,S(3,…,) S_n }
         • 状态序列：Q={q_1 〖,q〗2,q(3,…,) q_l }
         • 观测概率：P{o_j=R_k ├|q_t=S_j ┤}=b_j (i),记B=[b_j (i)]
      • 所以，HMM可以由一个五元组描述λ=(A,B,π,R,S)，也可简写为λ=(A,B,π,)。
      • 隐马尔可夫模型实际上是标准马尔科夫模型的扩展，添加了可观测状态集合和这些状态与隐含状态之间的概率关系。
   HMM三个主要问题
      • 评价问题：给定了马尔科夫模型后,去计算观测序列出现的可能性
         • 前向算法
            • 所谓评价问题便是去计算HMM关于某一特定观测序列的似然比 (likelihood)，具体来说便是：给定一个HMM模型，参数为λ=(A,B)和一个观测序列O=o_1 o_2…o_T，计算观测序列的似然比P(O│λ)。
            • 算法步骤：
               • 初始化：α_1 (j)=α_0j×b_j (o_1 ) (其中1≤j≤N)
               • 递归：α_t (j)=∑(i=1)^N▒〖a(t-1) (i)×a_ij×b_j (o_t ) 〗 (其中1≤j≤N,1≤t≤T)
               • 终止：P(O│λ)=α_T (qF)=∑_(i=1)^N▒〖α_T (i)×α_i F〗
         • 后向算法
            • 后向算法与前向算法类似，它定义了一个概念叫后向概率：给定隐马尔科夫模型λ，定义在时刻t状态为q_i的条件下，从t+1到T的部分观测序列为o_(t+1),o_(t+2),…〖,o〗T的概率为后向概率，记为：
$${\beta }_t(i)=P(o_{t+1},o_{t+2},...,o_T\mid i_t=q_i,\lambda )$$
            • 同样也可以用递推的方法求得后向概率β_t (i)及观测概率P(O│λ)。
      • 解码问题:给定HMM情况下,给出观测序列,去寻找产生这个观测序列的最有可能的隐藏序列
         • 动态规划算法
         • Viterbi算法
            • 维特比算法（Viterbi）是一个特殊但应用最广的动态规划算法，它是针对篱笆网络的有向图的最短路径问题而提出的。凡是使用隐含马尔可夫模型描述的问题都可以用维特比算法来解码，包括今天的数字通信、语音识别、机器翻译等。
            • 步骤：
               • 初始化
               • 递归
               • 终止
               • 最优路径回溯
      • 学习问题:根据已有的数据去学习HMM中的参数
         • 监督式算法
            • 观察序列和状态序列都给出，求HMM。
            • 利用大数定理用频率来估算HMM的三种概率。
               • 初始概率：(π_i ) ̂=(|q_i |)/(∑_i▒〖|q_i |〗)
               • 转移概率：(a_ij ) ̂=(|q_ij |)/(∑(j=1)^N▒〖|q_ij |〗)
               • 观测概率：(b_ij ) ̂=(|S_ik |)/(∑_(k=1)^M▒〖|q_ij |〗)
         • 非监督式Baum-Welch算法
            • 观察序列，没有给出状态序列，求HMM。
            • 其实该算法的本质就是EM算法，因为它解决的问题就是：有了观测值X，而观测值有个隐变量Z时，求在HMM参数λ下的联合概率 P(X,Z|λ)。
            • 求解步骤：
               • 确定完全数据的对数似然函数
               • EM算法E步：求Q函数Q(λ,λ ̂)
               • EM算法M步：极大化Q函数求参数
   HMM在语音识别中的应用
      • EM算法E步：求Q函数Q(λ,λ ̂)
      • EM算法M步：极大化Q函数求参数
      • 对于输入语音，用Viterbi算法查出对应哪个HMM模型概率最大，由此得到最佳序列。
      • 根据最佳序列对应组合出音素和单词。
      • 根据语言模型形成词和句子。