基本概念整理（持续更新）

熵

相对熵

简介

相对熵又叫KL散度，其数值衡量两个分布$p(x)$和$q(x)$之间差异，相对熵具有两个重要的属性：非负性（即$KL(p|q)\ge 0$）和非对称性（即$KL(p|q)\ne KL(p|q)$）

公式

$$D_{KL}(p|q)=\sum _i[p(x_i)log(p(x_i))-p(x_i)log(q(x_i))]=\sum _{i}p(x_i)log(\frac{p(x_i)}{q(x_i)})$$

交叉熵

简介

交叉熵其实是相对熵减号右边的一部分，而又因为相对熵减号左边的部分是一个常数（真实分布的熵）所以神经网络一般将交叉熵作为损失函数，等价于将相对熵作为损失函数。

公式

$$H(p,q)=\sum _i[p(x_i)log(q(x_i))]$$

定律

齐普夫定律（Zipf定律）

简介

该定律是一个词频分布定律，设一篇长文章n个词出现的频次分别为$f_1，f_2，...，f_n，$则$i\ast f_i=C$，$C$为一个常数。

图

无标度网络

简介

网络节点度的分布符合幂律分布的复杂网络为无标度网络，即少数节点拥有大量的连接。