大模型 | 统计语言模型（二）贝叶斯定理&贝叶斯网络、马尔可夫链&隐马尔可夫模型、N-gram模型

三、N-gram模型

什么是贝叶斯定理&贝叶斯网络？贝叶斯定理是更新假设概率的方法，而贝叶斯网络则是利用有向无环图表示随机变量间条件依赖关系的概率图模型。

贝叶斯定理（Bayes’ Theorem） 是 一种描述两个条件概率之间关系的定理，它允许我们根据新的证据或数据来更新我们对某一事件或参数的信念。

**

贝叶斯定理公式是一种计算条件概率的方法，它根据新的证据和先前的概率来更新某个假设的可信度。P(A|B) = [P(B|A) * P(A)] / P(B)

• P(A|B) 是后验概率，即在事件B发生的条件下，事件A发生的概率。
• P(B|A) 是条件概率，表示在事件A发生的条件下，事件B发生的概率。
• P(A) 是先验概率，即在没有事件B发生的条件下，我们对事件A的信念或概率估计。
• P(B) 是事件B的边缘概率，它是所有可能情况下事件B发生的概率总和，通常作为归一化常数，确保后验概率的总和为1。

贝叶斯网络（Bayesian Network，简称BN）是一种 基于概率推理的图形模型，用于****表示变量之间的依赖关系。它由一个有向无环图（Directed Acyclic Graph，DAG）和条件概率表（Conditional Probability Table，CPT）组成。

**

• 有向无环图（DAG）：用于表示变量之间的依赖关系。图中的节点代表变量，有向边（或称为弧）则表示变量之间的依赖关系。如果两个节点之间存在有向边，则意味着一个节点的状态会影响另一个节点的状态。
• 条件概率表（CPT）：与DAG中的每个节点相关联，用于描述节点与其父节点之间的概率关系。条件概率表详细列出了在给定父节点状态下，当前节点取各个可能值的概率。

什么是马尔可夫链&隐马尔可夫模型？ 马尔可夫链，基于当前状态预测未来状态的概率模型，状态转移仅依赖前一个状态。隐马尔可夫模型，用于描述含有隐含未知参数的马尔可夫过程，通过观测序列推断隐含状态序列。

马尔可夫链（Markov Chain, MC）是概率论和数理统计中一个重要的概念， 具有马尔可夫性质，即未来只与现在有关，而与过去无关。

• 马尔可夫链： 一种特殊的随机过程，具有“马尔可夫性质”。
• 马尔可夫性质： 未来状态仅与当前状态相关，与过去状态无关。

马尔可夫链依赖于转移矩阵和转移图来描述状态间的变化。 转移矩阵，作为一个二维数组，明确了从一个状态到另一个状态的转移概率。而转移图则直观地展示了这些状态间的转移关系，为理解和分析提供了便捷的可视化工具。

转移矩阵： 是一个二维数组，其中每个元素表示从一个状态转移到另一个状态的概率。

转移图： 是一种可视化工具，用于直观地展示状态之间的转移关系。

隐马尔可夫模型（HMM）是一种统计模型， 它基于一个隐藏的马尔可夫链生成不可观测的状态序列，并根据这些隐藏状态产生可观测的序列。

1. 齐次马尔可夫假设：任意时刻的隐藏状态只依赖于前一个隐藏状态，与其他时刻的状态无关。
2. 观测独立性假设：任意时刻的观测值只依赖于当前时刻的隐藏状态，与其他时刻的观测值和隐藏状态无关。

HMM通过描述隐藏状态之间的转移概率以及隐藏状态到观测值的发射概率（观察概率），来模拟并预测观测序列的生成过程。

什么是N-gram模型？ N-gram模型是一种基于统计语言模型的文本分析算法，它用于预测文本中下一个词出现的概率，基于前面出现的n-1个词的序列。

N-gram模型的n代表序列中元素的数量，因此称为N-gram模型。

• Unigram：N=1，每个单词的出现概率独立计算，不考虑上下文。
• Bigram：N=2，基于前一个单词预测当前单词的联合概率模型。
• Trigram：N=3，考虑前两个单词来预测当前单词的联合概率模型，更复杂但可能更准确。

N-gram模型通过 统计语料库中n-gram序列的频率，估计给定前n-1个元素后下一个元素出现的概率，从而实现文本预测。

1. 语料库准备：首先，需要有一个大型的文本语料库，用于训练N-gram模型。
2. 计算频率：然后，计算语料库中所有可能的n-gram序列的频率。
3. 概率估计：根据这些频率，可以估计出给定n-1个词后，下一个词出现的概率。
4. 预测：在预测阶段，给定一个词序列的前n-1个词，模型可以输出下一个词的概率分布，从而可以选择最可能的词作为预测结果。

---

最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

5. 大模型面试题

面试，不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

如有侵权，请联系删除。