为交叉熵和平方误差神经网络损失函数的吸引域可视化
1 论文概述
2020年3月发表在Neurocomputing上的一篇文章,对两种常见的神经网络损失函数(即二次损失和熵损失)的局部极小值和相关吸引域进行了可视化和数值分析。
1.1 文章摘要
- 神经网络损失面的平稳点和相关吸引域的定量化是更好地理解神经网络损失面一个重要的步骤。(背景和问题)
- 这项工作提出了一种新的方法,通过基于梯度的随机采样来可视化吸引域以及相关的平稳点。(方法)
- 提出的技术被用来执行一个损失面的实证研究,这个损失面由两个不同的误差度量:二次损失和熵损失 生成。(实验)
- 实验结果证实了神经网络吸引域的理论假设。与二次损失相比,熵损失表现出更强的梯度和更少的驻点,这表明熵损失具有更大的搜索范围。二次损失比熵损失更能适应过拟合。两种损耗均表现为局部极小值,但局部极小值的数目随维数的增加而减少。(实验结果)
- 因此,所提出的可视化技术成功地捕获了神经网络损失表面所显示的局部极小属性,并可用于神经网络的适应值曲面的分析目的。(结论)
1.2 专业术语
交叉熵 cross-entropy
平方误差 squared error
吸引域 basins of attraction
驻点、平稳点 stationary points
二次损失 quadratic loss
熵损失 entropic loss
实证研究 empirical study
适应值曲面分析 fitness land-scape analysis (FLA)
误差平方和 sum squared error (SSE)
1.3 引言
P1 介绍问题
P2-P3 分析问题
P4 研究目的、方法
P5 文章贡献
- 提出了一种神经网络驻点的二维可视化方法。
- 提出了一个简单的量化吸引域数目和范围的数值指标。
- 利用所提出的技术对与平方损失和熵损失有关的吸引域进行了经验比较。
P6 文章组织结构
- 相关工作
- 损失函数
- 适应值曲面分析
- 实验过程
- 实验结果
- 总结展望
2 相关工作
- 异或常被用于分析神经网络的基本性质。对异或误差的研究,研究人员就局部最小值得出了一些相互矛盾的结论。对比异或更复杂的问题进行的进一步理论分析,也发现有相反的结论。
- 由于缺乏经验证据和直观的视觉效果,目前对神经网络误差表面的平稳点的理解仍然不完整。
- 在神经网络错误曲线中鞍点的普遍存在使研究人员对与平稳点和相关的吸引域的性质提出了疑问。这项研究估计了与两种不同损失函数(即二次损失函数和熵损失函数)有关的吸引域的性质。
3 损失函数
神经网络搜索空间的模式,即局部极小值的数目,以及局部极小值的性质和相关的吸引域,在理论上被证明依赖于所选的误差度量,以及其他参数。两个最广泛使用的误差度量是二次损失函数和熵损失函数。
二次损失,也称为误差平方和(sum squared error, SSE),简单计算神经网络产生的误差平方和:
其中P为数据点个数,K为输出个数,t (K,P)为数据点P的第K个目标值,o(K,P)为数据点P的第K个输出。SSE的最小化使神经网络产生的总体误差最小化。
如果神经网络的输出可以被解释为概率,那么可以计算两个分布之间的交叉熵,即期望输出(目标)的分布和实际输出的分布。熵损失,也称为对数损失,或交叉熵(CE)误差,公式如下:
交叉熵的最小化导致两种分布的收敛,也就是说,实际输出分布越来越像目标分布,从而使神经网络误差最小化。
Solla等人从理论上分析了二次损失和熵损失,得出了二次损失具有更高密度的局部极小值的结论。Solla等人[14]进一步表明ÿ