吴智深的博客

PGMPY文档简介： PGMPY的全称是Probability Graph Model in PYthon，顾名思义是基于python开发的概率图模型工具包，包含贝叶斯网模型、动态贝叶斯网模型、结构方程模型、NoisyOr模型、马尔可夫网模型、联合树模型、团树模型、因子图模型、马尔可夫链等。利用该工具包，可进行贝叶斯网推理、参数学习、结构学习，和因果推理等。文章目录1. 安装2. 基本数据结构2.1 有向无回路图（DAG）2.1.1 添加节点、边2.1.2 有效迹2.1.3 干预2.1.4 端...

东航失事，令人叹惋。遇难者遗体鉴别工作需要向国外借鉴经验。本文介绍了基于贝叶斯网和遗传学第一定律的基因匹配技术。

第一部分：贝叶斯网基础1.1 信息论基础1.2 贝叶斯网基本概念1.3 变量独立性的图论分析第二部分：贝叶斯网推理2.1 概率推理中的变量消元方法2.2 团树传播算法2.3 近似推理2.3.1 蒙特卡洛方法2.3.1.1 重要性抽样法2.3.1.2 马尔可夫蒙特卡洛抽样法(MCMC)2.3.2 变分推理第三部分：贝叶斯网参数学习3.1 理论基础-分布的分布3.2 极大似然估计3.3 贝叶斯估计上个暑假结束前，贝叶斯网专题更新到参数学习的极大似然估计部分。上了一学期课，寒假来临

第一部分：贝叶斯网基础1.1 信息论基础1.2 贝叶斯网基本概念1.3 变量独立性的图论分析第二部分：贝叶斯网推理2.1 概率推理中的变量消元方法2.2 团树传播算法2.3 近似推理2.3.1 蒙特卡洛方法2.3.1.1 重要性抽样法2.3.1.2 马尔可夫蒙特卡洛抽样法(MCMC)2.3.2 变分推理第三部分：贝叶斯网参数学习3.1 理论基础-分布的分布3.2 极大似然估计贝叶斯网参数估计有两种方法，一种是极大似然估计，另一种是贝叶斯估计。两种参数估计方法使用不同的思想，前者

第一部分：贝叶斯网基础1.1 信息论基础1.2 贝叶斯网基本概念1.3 变量独立性的图论分析第二部分：贝叶斯网推理2.1 概率推理中的变量消元方法2.2 团树传播算法2.3 近似推理2.3.1 蒙特卡洛方法2.3.1.1 重要性抽样法2.3.1.2 马尔可夫蒙特卡洛抽样法(MCMC)2.3.2 变分推理第三部分：贝叶斯网参数学习上一部分我们介绍了贝叶斯网推理方法，包括精确推理方法和近似推理方法。从本部分开始，将介绍贝叶斯网学习方法，包括本部分将介绍的参数学习方法，和下一部分将介绍的

第一部分：贝叶斯网基础1.1 信息论基础1.2 贝叶斯网基本概念1.3 变量独立性的图论分析第二部分：贝叶斯网推理2.1 概率推理中的变量消元方法2.2 团树传播算法2.3 近似推理2.3.1 蒙特卡洛方法2.3.1.1 重要性抽样法2.3.1.2 马尔可夫蒙特卡洛抽样法(MCMC)2.3.2 变分推理上一节我们介绍了利用MCMC抽样进行贝叶斯网后验概率推理的方法，其是一种随机近似算法，存在的缺点是抽样收敛速度慢，马尔可夫链往往需要花费较多步迭代才能趋于平稳分布，且当贝叶斯网中存在极

文章目录第一部分：贝叶斯网基础[1.1 信息论基础](https://blog.csdn.net/deepbodhi/article/details/119823055)[1.2 贝叶斯网基本概念](https://blog.csdn.net/deepbodhi/article/details/119823243)[1.3 变量独立性的图论分析](https://blog.csdn.net/deepbodhi/article/details/119823321)第二部分：贝叶斯网推理[2.1 概率推理中的变

文章目录第一部分：贝叶斯网基础[1.1 信息论基础](https://blog.csdn.net/deepbodhi/article/details/119823055)[1.2 贝叶斯网基本概念](https://blog.csdn.net/deepbodhi/article/details/119823243)[1.3 变量独立性的图论分析](https://blog.csdn.net/deepbodhi/article/details/119823321)第二部分：贝叶斯网推理[2.1 概率推理中的变

文章目录第一部分：贝叶斯网基础[1.1 信息论基础](https://blog.csdn.net/deepbodhi/article/details/119823055)[1.2 贝叶斯网基本概念](https://blog.csdn.net/deepbodhi/article/details/119823243)[1.3 变量独立性的图论分析](https://blog.csdn.net/deepbodhi/article/details/119823321)第二部分：贝叶斯网推理[2.1 概率推理中的变

文章目录第一部分：贝叶斯网基础[1.1 信息论基础](https://blog.csdn.net/deepbodhi/article/details/119823055)[1.2 贝叶斯网基本概念](https://blog.csdn.net/deepbodhi/article/details/119823243)[1.3 变量独立性的图论分析](https://blog.csdn.net/deepbodhi/article/details/119823321)第二部分：贝叶斯网推理[2.1 概率推理中的变

文章目录第一部分：贝叶斯网基础[1.1 信息论基础](https://www.jianshu.com/p/635da28aaa5c)[1.2 贝叶斯网基本概念](https://www.jianshu.com/p/86fa09b8364e)[1.3 变量独立性的图论分析](https://www.jianshu.com/p/c839df82b844)第二部分：贝叶斯网推理2.1 概率推理中的变量消元方法2.1.1 推理问题2.1.2 变量消元法2.1.2.1 概率分布的分解与推理复杂度2.1.2.2 消元运

文章目录[1.1 信息论基础](https://www.jianshu.com/p/635da28aaa5c)[1.2 贝叶斯网基本概念](https://www.jianshu.com/p/86fa09b8364e)1.3 变量独立性的图论分析1.3.1 图分隔与变量独立的直观分析1.3.2 D分隔与U分隔1.3.3 祖先闭集与贝叶斯子网1.3.4 D分隔与条件独立的等价关系1.1 信息论基础1.2 贝叶斯网基本概念1.3 变量独立性的图论分析光具有波粒二象性，可以用概率波描述。贝叶斯网也具有二

文章目录第一部分：贝叶斯网基础[1.1 信息论基础](https://www.jianshu.com/p/635da28aaa5c)1.2 贝叶斯网基本概念1.2.1 不确定性推理与联合概率分布1.2.2 利用条件独立对联合分布进行分解1.2.3 贝叶斯网概念1.2.4 手工构造贝叶斯网1.2.4.1 确定网络结构1.2.4.2 因果关系与贝叶斯网1.2.4.3 确定网络参数1.2.4.4 减少网络参数第一部分：贝叶斯网基础1.1 信息论基础1.2 贝叶斯网基本概念本节首先分析直接用联合概率分布进

文章目录贝叶斯网专题前言第一部分：贝叶斯网基础1.1 信息论基础1.1.1 预备数学知识：Jensen不等式1.1.2 熵1.1.3 联合熵、条件熵、互信息1.1.4 交叉熵和相对熵（KL散度）1.1.5 互信息与变量独立贝叶斯网专题前言贝叶斯网是一种将概率统计应用于复杂领域，进行不确定性推理和数据分析的工具，其在机器学习和人工智能领域具有重要的基础性地位。从技术层面讲，贝叶斯网可系统地描述随机变量之间关系，构造贝叶斯网的主要目的是进行概率推理。理论上，进行概率推理只需要一个联合概率分布即可，但联合

文章目录1. 感知机基础1.1 模型1.2 函数间隔与训练策略1.3 学习算法2. 算法收敛性证明3. 附录1. 感知机基础1.1 模型感知机是最基础的机器学习模型之一，它的类别为：分类（√）、回归、标注概率软分类（√）、非概率硬分类监督（√）、无监督、强化线性（√）、非线性判别（√）、生成模型定义：输入空间X⊆RnX\subseteq\R ^nX⊆Rn，输出空间Y={+1,−1}Y=\left\{ +1,-1\right\}Y={+1,−1}，定义由输入空间到输出空间的函数映射

文章目录1. K近邻法基础1.1 模型与算法1.2 距离度量1.3 K值选择1.4 邻近点的搜索算法2. kd-tree算法2.1 kd-tree构建方法2.2 kd-tree K近邻搜索方法3. ball-tree算法3.1 ball-tree构建方法3.2 ball-tree K近邻搜索方法4. 附录4.1 K值选择对回归性能的影响4.2 kd-tree构建和搜索4.3 ball-tree构建和搜索1. K近邻法基础1.1 模型与算法K近邻法（K-nearest neighbor,KNN）是最基

文章目录1. 后验概率和结构风险的定义1.1 后验概率定义1.2 后验概率的哲学意义1.3 后验概率的现实意义1.4 结构风险定义2. 后验概率最大与结构风险最小的等价性证明1. 后验概率和结构风险的定义1.1 后验概率定义后验概率是从贝叶斯公式而来，贝叶斯公式如下：P(Y∣X)=P(X∣Y)P(Y)P(X)P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}P(Y∣X)=P(X)P(X∣Y)P(Y)​以分类问题来理解该公式，X代表观测到的特征样本，Y表示类别。特征是表象，类别是本质

文章目录1. 损失函数与风险函数2. 泛化能力与泛化误差上界3. 相关证明3.1 马尔可夫不等式3.2 霍夫丁引理3.3 霍夫丁不等式3.4 假设空间有限的二分类问题的泛化误差上界1. 损失函数与风险函数机器学习中，需要通过损失函数来度量模型一次预测的好坏，通常用L(Y,f(x))L(Y,f(x))L(Y,f(x))来表示，常见的损失函数有：0-1损失函数（指示函数）L(Y,f(X))={1,Y≠f(X)0,Y=f(X)L(Y,f(X))= \begin{cases}1, \quad &a