神经网络特征可视化

原创 2015年07月09日 22:04:31

1. visualizing higher-layer features of a deep network


本文提出了两种可视化方法。 

1. 最大化activation

当训练完一个深层神经网络之后, 固定所有参数。 然后对于某一个神经元的activation进行梯度上升优化来寻找能使它的值最大化的input。 不断的用gradient ascent来更新一个初始化为random value的input。 converge 之后的input就是能使这个神经元activation最大化的input, 也就是这个神经元学到的feature。


2. sampling from a unit of a deep belief network

把一个神经元的activation设为1, 然后generate 一些相应的samples, 通过这些samples估计一个distribution。


3. linear combination of previous layers' filters

这个是已经存在的技术, 用底层的filter线性组合来visulze上层的filter


结论

1. 不同的网络结构或者模型会学到不同的filter。

2. 好的模型学到的filter通常比较容易解释,但是这个不是100%适用。 有些model学到的feature看似不好但是这个model效果也可能很好。

3. deep model 高层的feature相对比较high level 而且可以是底层feature的组合。

相关文章推荐

Learning Face Representation from Scratch

1. 这篇文章提出了一种构造大规模人脸数据库的方法。并开源了该数据库 CASIA-webface 2. 作者在CASIA-webface上训练了一个11层的CNN网络, 并把学到的feature在L...

深度学习(二十七)可视化理解卷积神经网络

本篇博文主要讲解2014年ECCV上的一篇经典文献:《Visualizing and Understanding Convolutional Networks》,可以说是CNN领域可视化理解的开山之作...
  • hjimce
  • hjimce
  • 2016年01月19日 19:30
  • 21657

Deep Learning论文笔记之(七)深度网络高层特征可视化

Deep Learning论文笔记之(七)深度网络高层特征可视化zouxy09@qq.comhttp://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看...
  • zouxy09
  • zouxy09
  • 2013年08月16日 23:22
  • 34334

卷积神经网络可视化和理解

神经网络可视化

利用卷积神经网络(CNN)提取图像特征

一、前言本篇文章主要介绍了CNN网络中卷积层的计算过程,详细了解CNN的其它信息可以参考:技术向:一文读懂卷积神经网络。卷积神经网络(CNN)是局部连接网络。相对于全连接网络其最大的特点就是:局部连接...
  • jnulzl
  • jnulzl
  • 2016年05月17日 22:32
  • 20607

caffe之特征图可视化及特征提取

上一篇博客,介绍了怎么对训练好的model的各层权重可视化,这篇博客,我们介绍测试图片输入网络后产生的特征图的可视化 记得上篇中,我们是写了一个新的文件test.cpp,然后编译运行那个文件的,这是因...

caffe学习笔记(5):层的特征可视化

本文对各层及由各层得到的结果进行了可视化处理。

caffe特征可视化

这篇博文对于caffe 网络训练到的特征进行可视化。 参考:  http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/example...

逐层可视化图像特征

本文参考 薛启元学习笔记五和caffe官网中的内容进行实践

TF-day3 mnist识别数字

相对TF-day1中mnist数字识别的神经网络,这次的神经网络结构更复杂. 使用了带指数衰减的学习率设置,使用正则化来避免过度拟合,以及使用滑动平均模型來使得模型更加健壮.# coding: utf...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:神经网络特征可视化
举报原因:
原因补充:

(最多只允许输入30个字)