循环神经网络：梯度裁剪、困惑度

一、梯度裁剪

循环神经网络中很容易出现梯度衰减或爆炸。由于是循环计算，在进行反向传播的时候，梯度会传播很多次。

当传播过程中有大多数导数 > 1时，最终的梯度会出现$\infty$，即所谓梯度爆炸；当大多数导数 < 1时，最终的梯度会 $\to 0$，即所谓梯度消失。

对此，有一种可行的做法，称为梯度裁剪。假设将所有模型参数梯度的元素拼接成一个向量$\mathbf{g}$，并设裁剪的阈值是$\theta$。则定义裁剪后的梯度为
$$min(\frac{\theta }{\parallel \mathbf{g}\parallel },1)\mathbf{g}$$

即：当所求出的梯度范数$\parallel \mathbf{g}\parallel$ > 我们所能接受的阈值$\theta$时，就将其缩小$\frac{\theta }{\parallel \mathbf{g}\parallel }$倍；否则，就不变。

代码实现如下：

'''
	params: 模型的所有参数
	theta: 阈值
	ctx: cpu or gpu
'''
def grad_clipping(params, theta, ctx):
	# 求范数
	norm = nd.array([0], ctx)
	for param in params:
		norm += (param.grad ** 2).sum()
	norm = norm.sqrt().asscalar()

	if norm > theta:
		for param in params:
			param.grad[:] *= theta / norm # 梯度缩小

二、困惑度

对于语言模型的评价，通常采用困惑度（perplexity）。困惑度定义为：交叉熵损失函数做指数运算后的值。特别地，

• 最佳情况，模型总是把标签类别的概率预测为1。此时困惑度为1
• 最坏情况下，模型总是把标签类别的概率预测为0。此时困惑为$\infty$