【数学基础】深度学习中的一些简单数学原理 目录 0. 前言 1. 熵 1.1 熵的定义 1.2 联合熵与条件熵 1.3 互信息 1.4 交叉熵 2. 散度 2.1 KL散度 2.2 JS散度 参考文献 @ 0. 前言 通常论文中会有一些数学公式来证明作者理论,我觉得读论文不搞懂原理与证明,只了解了框架与流程,是不会有自己的创新以及idea,本文也是记录我自己在读paper遇到的一些数学理论,前面会叙述一些简单的数学知识。 1. 熵