adf机器_经典模型1. ADF: 增量贝叶斯与在线学习（Online Bayesian Learning）

（题图：5月的snowbird滑雪场，雪未化，山渐青）

赶完 NeurIPS 和 ICDM后 颓了一周，终于提起心气来写文章了。今天来介绍下贝叶斯机器学习里一个非常经典的模型： ADF—assumed density filtering（没找到特别好的中文翻译, 直译叫做 假定密度滤波 ）。他还有两个私以为更贴切的名字：贝叶斯在线学习（online Bayesian learning）和 矩匹配（Moment match）。

之所以会有这么多名字，一是因为他真的很老了，应该比不少这篇文章的读者还老——最早是在1988年被提出。二则是因为，在互联网未普及、学术沟通不畅的几十年前，ADF是在人工智能、统计、控制论等多个领域里，先后被独立提出发表的。至于ADF（assumed density filtering）这个流传最广的名字，EE背景的同学应该一眼就能看出来，肯定是搞控制论那帮人取的了。不过囿于个人专业能力与篇幅限制，咱们的介绍还是聚焦在ADF在机器学习里的发展应用。

作为典型的“old fashioned guy”, ADF的迷人之处就在于他的生命力和影响并未随着时间流逝、研究热点变换、深度学习崛起而消退。相反，从他被提出的到现在的近40年里，每过一段日子，机器学习社区里就会有基于ADF的明星工作冒头。其中最有名的应该是01年Minka提出的 期望传播 EP（Expectation Propagation）[1]， 以及15年哈佛那篇 概率反向传播 PBP（Probabilistic Backpropagation）[2]。前者已是被写进绝大多数机器学习教科书的内容，后者则是近些年兴起的 贝叶斯深度学习（Bayesian deep learning）里绕不开的工作。专栏接下来的两篇文章应该就会介绍 EP 和 PBP, 感兴趣的同学可以持续关注~今儿咱还是追根溯源，从这一脉的祖师爷 ADF 说起。

在正式介绍ADF细节前，还得先简单说下 在线学习（online learning）。在线学习本身就是机器学习里一个内含非常丰富的分支，详细的介绍无论是知乎还是综述都有比较好的资源，比如 @吴海波 前辈写的

吴海波：在线学习（Online Learning）导读​zhuanlan.zhihu.com

此处我就不多班门弄斧了，只简单说几句。我们接下来的讨论的 在线学习, 一言以蔽之，就是“随着数据以流式（streaming）方式到来，实时更新模型”。有同学可能会有疑问，“这不是废话吗，训练一般的机器学习模型（比如神经网络）时，不就是来一批数据，算一个梯度，更新一下”，可 online learning的关键之处就在于，流式数据（streaming data）意味着任何数据都只准“过一遍”，我们不会存储、也无法再拿到过去的数据。而通常神经网络等基于SGD的模型训练，都需要将数据集过多个epoch，不属于在线学习。

在线学习应用最广泛是在推荐系统领域。比如推荐系统里核心任务：矩阵/张量分解（matrix/tensor factorization）。在实