本文介绍了三种深度网络特征可视化技术：激活最大化、单元采样和线性组合技术。激活最大化通过梯度上升找到使特定层神经元激活最大的输入样本；单元采样在DBN中，设置指定神经元为0，其他为1，反向求解输入；线性组合技术关注单元与其前一层滤波器的关系。研究发现不同权重初始化不影响最终模式，深层神经元捕获抽象特征，而RBM在深层表现出稀疏特征。然而，随着图像分辨率增加，激活最大化可能不收敛到全局最小值，且单元采样在面对多个模式时可能失效，线性组合技术确定过滤器数量也具有挑战性。
文章主题：
给出了三种deep network 的特征可视化方法，两种为作者最新提出：activation maximization and sampling from a unit
一种方法前人已经提出：linear combination technique.
三种方法阐述：
activation maximization
利用梯度上升法，知道网络ｗｅｉｇｈｔ后求解使得使得第j层第i个神经元ａｃｔｉｖａｔｉｏｎ最大的输入样本x
sampling from a unit
ＤＢＮ是一个生成模型，从上到下，令第j 层第i个神经元的激活函数值为０， 其他神经元激活函数值为１，反回去求解x
linear combination technique
ｕｎｉｔ 和它相连的previous ｌａｙｅｒ的ｆｉｌｔｅｒ相关。待思考
最低0.47元/天 解锁文章
3718
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
