概论相关分布知识--回顾笔记

1. 伯努利分布：如果变量X服从伯努利分布 Ber(p) ，那么 X只有两种取值，记为{0,1}，有：
2. 二项分布：如果变量X服从二项分布B(n,p)  ，那么X有 n + 1 种取值，有：
3. categorical 分布：类别分布，范畴分布。 如果变量 X服从Categorical分布Cat（α1，α2，...，αk）  ，其中满足 α从1到k求和=1 ，那么 X有 k 种取值，有一般，服从categorical分布的变量都是一个向量，而且是一个one-hot编码的形式。一个向量形式的变量X服从多项分布multi(n,α1，...，ak),且α从1到k求和为1，则X是一个长度为k的向量。并且向量从1到k求和=n，有：利用gumbel-max 技巧获得categorical的采样过程：假设现在有一组非归一化的参数（α1，α2，...，αk）  ，通过这些数来采样一个One-hot形式的样本x，需要满足的条件：
   1. 将αi归一化得到pi
   2. 计算累计概率分布CDF，即（p1,p1+p2）
4. 多项分布：

5. 举例说明这些分布的关系：

   1. 将一个小球放入两个桶，记变量X为第一个桶里面有的小球个数，那么只有 0 个或者 1 个，所以是服从伯努利分布；

   2. 将 n 个小球放入两个桶，记变量X为第一个桶里面的小球个数，那么最少可能有 0 个，最多可能有 n 个，所以服从二项分布；

   3. 将一个小球放入 k 个桶，记变量X为 k 个桶内的小球个数，所以是一个向量，并且是One-hot的形式，因为这个小球只能在一个桶里面，所以是服从Categorical分布；
      将 n 个小球放入 k 个桶，记变量 X为 k 个桶内的小球个数，是一个向量，并且向量元素的和为 n，所以是服从多项分布。

   4. 可以看出多项分布是其余三个分布的广义形式。将 n 设置为 1 即得到Categorical分布；将 k 设置为 2 即得到二项分布；将 n 设置为 1, k 设置为 2 得到伯努利分布。