【阅读笔记】Layer-wise relevance propagation for neural networks with local renormalization layers

Binder, Alexander, et al. “Layer-wise relevance propagation for neural networks with local renormalization layers.” International Conference on Artificial Neural Networks. Springer, Cham, 2016.

本文是探究的是图片上的像素与最终结果的相关性。创新点是把 Layer-wise Relevance Propagation (LRP) 扩展到了非线性映射上。

Layer-wise Relevance Propagation for Neural Networks

在神经网络中,每一层的输出 x j x_j xj都是输入 x i x_i xi和激活函数 g g g的结果(作者写着主要是约定一下各个符号的意思):
x j = g ( ∑ I w i j x i + b ) x_j=g(\sum_{I}w_{ij}x_i+b) xj=g(Iwijxi+b)

给定一个图像 x x x和分类器 f f f x x x上每一个像素 p p p都有一个 pixel-wise relevance score R p ( 1 ) R^{(1)}_p Rp(1)使得:
f ( x ) = ∑ p R p ( 1 ) f(x)=\sum_pR^{(1)}_p f(x)=pRp(1)

  • 3
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
### 回答1: 层级相关传播(layer-wise relevance propagation)是一种解释深度神经网络的方法,它通过反向传播算法来计算每个输入特征对输出结果的贡献程度,从而解释模型的决策过程。该方法可以帮助我们理解模型是如何对不同的输入特征进行加权,从而得出最终的预测结果的。 ### 回答2: Layer-wise relevance propagation(LRP),也叫做层级相关反向传播,是一种解释神经网络的方法。LRP利用了神经网络的层次结构,通过反向传播的方式将输出结果分解到每个输入特征的重要程度。这个特征重要程度可以用来解释神经网络的决策过程,帮助我们理解神经网络的工作流程和判断结果。 LRP的实现过程是通过定义一个规则对于每个神经元的输出影响值进行计算,从而反向传播回每个输入。这个规则基本遵循的是一个相关原则,即神经网络的每个输出都应该与它的输入相关。这种规则允许我们在考虑整个神经网络的时候,以便有效地分析每个输入特征对于结果的影响。 LRP通过不断地对网络层进行分解,确定了每个输入特征对于最终的输出结果有多少贡献。这种分解过程类似于拆卸一个机器并确定每个部件是如何发挥作用的过程。这个过程不仅可以帮助我们理解网络的判断过程,还可以帮助我们对于神经网络进行优化和调试。 总的来说,LRP是一种非常有用的解释神经网络的方法。LRP通过反向传播的方式将输出结果分解到每个输入特征的重要程度,可以帮助我们理解神经网络判断的过程,从而更好地进行优化和调试。 ### 回答3: 层级相关传播(layer-wise relevance propagation)是一种用于可视化神经网络中每个输入特征对输出结果的影响的算法。它的思想是将网络中的特征从最后一层向前逐层推导,通过计算每个特征的信息流和影响程度,以确定其对最终结果的重要性。 层级相关传播在通过神经网络进行分类任务时查找重要输入特征非常有用。该算法的输入是网络中的隐层激活值和输出概率。然后,将输出概率分配给每个输入特征。最后,这种分配推导到每一层并迭代多次。 与其他可视化技术不同,层级相关传播可以将每个输入特征针对某个输出具体化为一个重要性评分。这种评分提供了更深入的理解,可以帮助我们认识到网络是如何工作的,并更好地优化和调整网络的模型。 总之,层级相关传播是一种非常有用的工具,能够帮助我们理解神经网络内部的模式,并提高网络的可解释性,使我们能够更好地解释和优化模型的决策过程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值