伯努利采样&&泊松采样

softmax,gumbel部分参考了https://blog.csdn.net/jackytintin/article/details/79364490

1. 伯努利分布

伯努利分布只有0，1状态，例如投硬币，投一次正面朝上的概率服从伯努利分布。多次做伯努利试验就称为n重伯努利试验。伯努利分布是二项分布在n=1时的特例

2. 二项分布

投掷n次硬币，正面朝上的次数为k概率服从二项分布

3. 多项分布

多项分布是二项分布的特例
举例说明：在一座城市中，若将人口按照年龄分成n组，这n组人在总人口中各占的比例分别为p1，p2，…, pn,今从城市中随机抽N个人，用 (X1，X2，…，Xn) 分别表示这N个人中每个年龄组的人数，则X=(X1，X2，…，Xn)服从多项分布。
例如一个6个数的骰子，每个的概率(p1,p2,p3,p4,p5,p6),投掷N次后，出现1=n1，2=n2，3=n3，4=n4，5=n5，6=n6点的次数的概率服从多项分布，对于二项分布是可以把骰子换成硬币

4. 伯努利采样

假设有N个位置，每个位置的分布都是服从$\pi$的伯努利分布，那么从这N个位置中采样的话，最后采样的点数会是0~N，第k个位置被选中的概率为$P(I_k=1) = \pi$

5. 泊松采样

假设有N个位置，每个位置的分布都是服从$\pi_k$的伯努利分布，那么从这N个位置中采样的话，最后采样的点数会是0~N，第k个位置被选中的概率为$P(I_k=1) = \pi_k$,每个位置的概率分布一定是不同的

6. 多项分布采样

假设有N个位置，每个位置的分布都是多项分布(p1,p2,…,pm)，那么从这N个位置中采样的话，每一个位置选出来的是1~m中的其中一个

7. 反函数法求随机数

8. Softmax sampling && Gumbel max sampling

主要参考这篇博客
对于泊松采样，对于N每个位置的每一个位置按照概率采样都可以用softmax采样，当然也可以用Gumbel max采样。二者的介绍在那篇博客里已经有了，Gumbel max采样其实等同于softmax采样，将那篇博客的代码整理了一下，非常感谢原作者，如下

import numpy as np
import matplotlib.pyplot as plt
def inv_gumbel_cdf(y, mu=0, beta=1, eps=1e-20):
    return mu - beta * np.log(-np.log(y + eps))
def sample_gumbel(shape):
    p = np.random.random(shape)
    return inv_gumbel_cdf(p)
def softmax(logits):
    max_value = np.max(logits)
    exp = np.exp(logits - max_value)
    exp_sum = np.sum(exp)
    dist = exp / exp_sum
    return dist

def sample_with_softmax(logits, size):
    pros = softmax(logits)
    return np.random.choice(len(logits), size, p=pros)


def sample_with_gumbel_noise(logits, size):
    noise = sample_gumbel((size, len(logits)))
    return np.argmax(logits + noise, axis=1)
np.random.seed(1111)    
logits = (np.random.random(10) - 0.5) * 2  # (-1, 1)

pop = 100000
softmax_samples = sample_with_softmax(logits, pop)
gumbel_samples = sample_with_gumbel_noise(logits, pop)

plt.subplot(1, 2, 1)
plt.hist(softmax_samples)

plt.subplot(1, 2, 2)
plt.hist(gumbel_samples)
plt.show()

只要随机数种子设置的一样，每次出来的结果差不多都是一样的， softmax采样和gumbel采样是等价的。为什么等价作者也给出了链接https://hips.seas.harvard.edu/blog/2013/04/06/the-gumbel-max-trick-for-discrete-distributions/

但是很明显上面的都是不可导的，首先softmax采样采用choice函数不可导，gumbel max采用argmax也是不可导的， 将gumbel max的argmax可以用softmax来逼近，从而可导。

def generalized_softmax(logits, temperature=1):
    logits = logits / temperature
    return softmax(logits)

temperture越大，整个的采样越平滑，类似于均匀采样了，越小，越类似于one-hot向量，越接近于logtis的分布，实则是一个多项分布。

VAE中为了让整个网络可导，他是怎么做的呢？
https://blog.csdn.net/jackytintin/article/details/53641885
产生分布服从$(\mu,\sigma)$的概率分布的采样是不可导的过程，但是如果用N(0,1)产生随机数$\beta$,那么$z= z_0 *\sigma+\mu$,$z_0 \sim N(0,1)$,这个时候z是可导的，这就是reparameterition trick。