论文研读-机器学习可视化-神经网络损失函数吸引域可视化

本文研究了二次损失和熵损失的神经网络损失函数,通过渐进梯度行走进行可视化和量化分析。实验结果显示,熵损失具有更强的梯度和较少的驻点,而二次损失在高维空间中展现出更适应过拟合的特性。提出的新方法——损失梯度云,用于直观展示损失函数的局部极小值和吸引域,同时量化了吸引域的数量和范围。研究指出,熵损失可能更适合深度学习,而二次损失在某些情况下可能有较好的泛化性能。
摘要由CSDN通过智能技术生成

1 论文概述

2020年3月发表在Neurocomputing上的一篇文章,对两种常见的神经网络损失函数(即二次损失和熵损失)的局部极小值和相关吸引域进行了可视化和数值分析。

1.1 文章摘要

  • 神经网络损失面的平稳点和相关吸引域的定量化是更好地理解神经网络损失面一个重要的步骤。(背景和问题)
  • 这项工作提出了一种新的方法,通过基于梯度的随机采样来可视化吸引域以及相关的平稳点。(方法)
  • 提出的技术被用来执行一个损失面的实证研究,这个损失面由两个不同的误差度量:二次损失和熵损失 生成。(实验)
  • 实验结果证实了神经网络吸引域的理论假设。与二次损失相比,熵损失表现出更强的梯度和更少的驻点,这表明熵损失具有更大的搜索范围。二次损失比熵损失更能适应过拟合。两种损耗均表现为局部极小值,但局部极小值的数目随维数的增加而减少。(实验结果)
  • 因此,所提出的可视化技术成功地捕获了神经网络损失表面所显示的局部极小属性,并可用于神经网络的适应值曲面的分析目的。(结论)

1.2 专业术语

交叉熵            cross-entropy
平方误差          squared error
吸引域            basins of attraction
驻点、平稳点      stationary points
二次损失          quadratic loss
熵损失            entropic loss
实证研究          empirical study
适应值曲面分析     fitness land-scape analysis (FLA)
误差平方和         sum squared error (SSE)

1.3 引言

P1 介绍问题
P2-P3 分析问题
P4 研究目的、方法
P5 文章贡献

  • 提出了一种神经网络驻点的二维可视化方法。
  • 提出了一个简单的量化吸引域数目和范围的数值指标。
  • 利用所提出的技术对与平方损失和熵损失有关的吸引域进行了经验比较。

P6 文章组织结构

  • 相关工作
  • 损失函数
  • 适应值曲面分析
  • 实验过程
  • 实验结果
  • 总结展望

2 相关工作

  • 异或常被用于分析神经网络的基本性质。对异或误差的研究,研究人员就局部最小值得出了一些相互矛盾的结论。对比异或更复杂的问题进行的进一步理论分析,也发现有相反的结论。
  • 由于缺乏经验证据和直观的视觉效果,目前对神经网络误差表面的平稳点的理解仍然不完整。
  • 在神经网络错误曲线中鞍点的普遍存在使研究人员对与平稳点和相关的吸引域的性质提出了疑问。这项研究估计了与两种不同损失函数(即二次损失函数和熵损失函数)有关的吸引域的性质。

3 损失函数

神经网络搜索空间的模式,即局部极小值的数目,以及局部极小值的性质和相关的吸引域,在理论上被证明依赖于所选的误差度量,以及其他参数。两个最广泛使用的误差度量是二次损失函数和熵损失函数。

二次损失,也称为误差平方和(sum squared error, SSE),简单计算神经网络产生的误差平方和:
误差平方和
其中P为数据点个数,K为输出个数,t (K,P)为数据点P的第K个目标值,o(K,P)为数据点P的第K个输出。SSE的最小化使神经网络产生的总体误差最小化。

如果神经网络的输出可以被解释为概率,那么可以计算两个分布之间的交叉熵,即期望输出(目标)的分布和实际输出的分布。熵损失,也称为对数损失,或交叉熵(CE)误差,公式如下:
交叉熵
交叉熵的最小化导致两种分布的收敛,也就是说,实际输出分布越来越像目标分布,从而使神经网络误差最小化。

Solla等人从理论上分析了二次损失和熵损失,得出了二次损失具有更高密度的局部极小值的结论。Solla等人[14]进一步表明ÿ

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值