用70行Python编写一个概率编程语言

最新推荐文章于 2023-04-10 19:51:33 发布

宋宋讲编程

最新推荐文章于 2023-04-10 19:51:33 发布

阅读量1.3k

点赞数

分类专栏： Python 宋宋讲编程文章标签： python 开发语言

本文链接：https://blog.csdn.net/qiqi1220/article/details/128220180

版权

本文介绍了如何用Python构建一个简单的概率编程语言，重点在于理解PPL的工作原理。通过实例展示了如何定义统计模型，解释了变量、分布、DAG的概念，并提供了计算联合对数密度的方法。文章还探讨了未来可能的扩展，如支持张量和随机变量变换，以及利用计算图框架提升性能。

摘要由CSDN通过智能技术生成

1、简介

在这篇文章中，我将介绍概率编程语言（Probabilistic Programming Languages，简称PPL）的工作原理，并逐步演示如何用Python构建一个简单的概率编程语言。

本文主要面向的读者是统计学家、AI研究员和好奇的程序员，相信大家都熟悉 PPL 和贝叶斯统计，并掌握了基本的 Python知识。

我们将要构建的API如下：

mu =LatentVariable("mu",Normal, [0.0, 5.0])
y_bar =ObservedVariable("y_bar", Normal, [mu, 1.0],observed=3.0)

evaluate_log_density(y_bar,{"mu": 4.0})

前两行定义了统计模型：

最后一行求在条件下，在 μ = 4 处该模型定义的（未正规化的）概率分布。

希望本文能让读者理解 PPL 的工作原理，并了解如何用 Python 实现一门嵌入式领域专用语言（Embedded Domain-Specific Languages，简称EDSL）。

2、相关研究

据我所知，目前尚没有使用Python的PPL实现。

《TheDesign and Implementation of Probabilistic Programming Languages》一书的重点是编程语言理论，需要读者熟悉 continuation-passing style、协程，而且采用了JavaScript 作为实现语言。
《Anatomyof a Probabilistic Programming Framework》一文（https://www.georgeho.org/prob-prog-frameworks/）是很不错的高层概要，但并没有涉及具体实现细节和代码示例。
Junpeng Lao的演讲（https://www.youtube.com/watch?v=WHoS1ETYFrw&feature=youtu.be）和 PyMC3的开发者指南（https://docs.pymc.io/en/v3/developer_guide.html）描述了 PyMC 的具体实现细节，但想根据这些内容实现一个 PPL 并不容易。

3、实现

高层表示

我们使用下述模型作为基本的参考：

这两个表达式定义了一个联合概率分布，对应的概率密度函数（Probability Density

关注

专栏目录