机器学习中的概率和信息论

在本文中，我们讨论概率和信息论。

概率论是用于表示不确定性陈述(statement) 的数学框架。它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性陈述的公理。

在人工智能领域，我们主要以两种方式来使用概率论：

• 概率法则告诉我们AI系统应该如何推理，所以我们设计一些算法来计算或者近似由概率论导出的表达式；
• 我们可以用概率和统计从理论上分析我们提出的AI系统的行为。

信息论是应用数学的一个分支，主要研究的是对一个信号能够提供信息的多少进行量化。在本系列教程中我们主要使用信息论的一些关键思想来描述概率分布或者量化概率分布之间的相似性。

未完待续…