Nature Gradient 自然梯度

在读论文（FAST AND ACCURATE DEEP NETWORK LEARNING BY
EXPONENTIAL LINEAR UNITS (ELUS)）时说到，ReLU激活函数的一些缺点，包括使得数据分布发生偏移。

而Nature Gradient则为一种解决办法，以下为Nature Gradient的介绍：
示例：
假设现在有一个5个参数的向量(data)，我们要衡量梯度更新前后的距离：

total_distance = 0

for i in range(5):
	for j in range(5):
			totoal_distance += data[i] * data[j] * metric[i][j]

我们在此引入一个5x5的矩阵（matric），如果matric为单位矩阵。
如果matic是Fisher Information Matix, 则距离为KL散度。