sonofaeolus的博客

全概率分布可以回答相关领域的任何问题，但随着变量数目的增 加，全概率分布的联合取值空间却可能变得很大。另外，对所有的原 子事实给出概率，对用户来说也非常困难。 若使用Bayes 规则，就可以利用变量之间的条件独立关系简化计 算过程，大大降低所需要声明的条件概率的数目。我们可以用一个叫 作Bayesian 网的数据结构来表示变量之间的依赖关系，并为全概率分 布给出一个简明的表示。 定义（Bayesian 网）：Bayesian 网T 是一个三元组（N,A,P）,其 中 1． N 是节点集合 2． A 是有向弧集合，与N 组成有限非循环图G =（N，A） 3． P {p(V | ) :V N} v    ，其中 v  代表节点V 的父亲节点集合 Bayesian 网是一个有向非循环图： （1） 网中节点与知识领域的随机变量一一对应（下文中不区分节 点与变量）； （2）网中的有向弧表示变量间的因果关系，从节点X 到节点Y 有 向弧的直观含义是X 对Y 有直接的因果影响；影响的强度或者说不确 定性由条件概率表示； （3）每个节点有一个条件概率表，定量描述其所有父亲节点对于 该节点的作用效果。 -2- （4）由领域专家给定网络结构和条件概率表。 ）由领域专家给定网络结构和条件概率表。 ）由领域专家给定网络结构和条件概率表。 ）由领域专家给定网络结构和条件概率表。 ）由领域专家给定网络结构和条件概率表。 ）由领域专家给定网络结构和条件概率表。 ）由领域专家给定网络结构和条件概率表。 ）由领域专家给定网络结构和条件概率表。 ）由领域专家给定网络结构和条件概率表。 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 对领域专家来说，决定在特中存哪些条件独立联系通常是 较容易的 较容易的 较容易的 （给定网络结构相对容易 给定网络结构相对容易 给定网络结构相对容易 给定网络结构相对容易 给定网络结构相对容易 ）─ 事实上，要远比际声明出这 事实上，要远比际声明出这 事实上，要远比际声明出这 事实上，要远比际声明出这 事实上，要远比际声明出这 事实上，要远比际声明出这 事实上，要远比际声明出这 事实上，要远比际声明出这 事实上，要远比际声明出这 些概率本身容易得多 些概率本身容易得多 些概率本身容易得多 些概率本身容易得多 些概率本身容易得多 （给定准确的条件概率相对 给定准确的条件概率相对 给定准确的条件概率相对 给定准确的条件概率相对 给定准确的条件概率相对 给定准确的条件概率相对 困难） 。一旦 。一旦 。一旦 BayesianBayesianBayesianBayesianBayesian Bayesian网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网的拓扑结构给定， 则只需对那些直接相互依赖节点出条件概率网

LDA算法是主题模型领域非常著名的算法，也有很深刻的数学背景和技术启发价值，值得深入研究应用。曾经有哲人说：万物皆数。我是一个十分喜欢数学、喜欢算法、热爱技术的人，非常想从算法中寻找人工智能的永恒之道。 我现在仍记得19世纪的数学家赫尔曼 · 汉克尔说过的：“就大多数学科而言，一代人摧毁的正是另一代人所建造的，而他们所建立的也必将被另一代人所破坏。只有数学不同，每一代人都是在旧的建筑物上加进新的一层。” 所以说，数学的价值还具有一种永世不灭的恒久性，其他学科的时尚潮流往往随着时代的变迁被人遗忘，那些旨在改变世界的理想，最终往往变成了思想垃圾。而只有数学和算法与此不同。 我们探究前人伟大的成果时，就能体会到奥利弗 · 亥维赛的精辟论说：“逻辑能够很有耐性，因为它是永恒的。” 当我选择分析Latent Dirichlet Allocation（LDA）这个算法课题时，我考虑了很多因素。首先，该算法是已经被学术界和工业界广泛接受的；其次，该算法能带来更多的新技术启示；最后，该算法能为我们的工作，我们的研究带来实用性的技术启发。 LDA算法恰好满足了这个条件。 虽然网上已经有许多分析LDA算法的博客文章，但是网上的博文相对零散不成体系，读者阅读起来有较大困难。只要读者有恒心和毅力，就一定可以从本书中受益。 为什么需要这本书？ 独特的价值 1. 理论与实践并重：网络上同类文章非常零散，理论推导部分也缺乏关键细节。本书中每一条公式都由作者手把手为您推理（每一条公式都有详细的解释和备注），并且按照初学者的思路娓娓道来，从逻辑链条上打通算法的整个环节，让用户有清晰的认识。在实践部分，作者以多年的工作实践经验为基础，精选了6个实现简单但又有较强的应用价值的LDA应用方法。这些精选的应用方法将成为读者未来工作实践中不可多得的资料。 2. 见解独到：本书最大的特色是从理论分析开始就含有作者独到的理解和分析，从不同角度完美地解释算法的整个流程。 3. 章节内容安排精巧，可根据需求选择：有的工程师对于算法推导不是很感兴趣，这种情况下可以跳过前3章，直接从第4章开始阅读LDA算法的具体实现。如果将来有兴趣研究LDA的来龙去脉时，可以再来看前3章的理论推导部分。如果读者对大数据环境下的LDA感兴趣，包括如何在Hadoop、Spark上实现LDA算法可以直接阅读第5章。 4. 首次将LDA引入大数据时代：大数据时代最大的特色就是信息爆炸，各种文本数据，用户生成（UGC）数据也变得非常庞大，网络上查阅到的LDA算法资料大部分不能应对大数据环境。第5章深入浅出地讲解了大数据环境下如何实现并行化的LDA算法。 5. 关于LDA的变分推断技术讲解细致。