Deep Learning 的一些认识

原创 2015年07月06日 20:34:31

原报告作者:Xiaogang Wang

作者提出了一部分人的一个想法:Deep learning is NOT simple as fitting acomplex model to a dataset -- 意思是说:深度学习模型仅仅是一个带有大量参数的并且利用大数据train出来的复杂模型。作者为了解这个迷思,在自己实验的网络DeepID2上 的实验并用实验得到一些有意思的现象

  • Moderate Sparse -- 中等程度的稀释

如上四幅图所示,作者将网络结构的最上层神经元节点的响应可视化之后,得出一些结论:

  1. 对于一张图像,500个神经元有一半的神经元有响应,这一点可以从C图得到验证,也就是说,他是中等程度稀释的;
  2. 从A图知,对于同样一个人,比如布什,无论他是否有遮挡,还是是否对齐,虽然响应幅度不同但其响应模式是稳定的,就是说,他是响应还是不响应是一样的,但是,如果是图像换成另外一个人,比如换成鲍威尔的话,其响应模式便不一样;
  3. 单看一个神经元,一个神经元在有的图像上响应,有的图像上不响应,统计出有多少图像在这个神经元上响应,如图D所示,大概有一般的图像在这个神经元是响应的,大概另一半是不响应的。对于同一张图像他的神经元一半响应一般不响应,我们可以知道他的距离是最大的,也就是说,图像之间的辨别度比较好。如果一幅图像他的神经元不响应话,那么这些神经元的模式有可能是重叠的,单看一个神经元一半图像响应,一半图像不响应,他的熵是最大的,从这个角度来说,模型的表达能力是最大的;
  4. Selectiveto Identities and Attributes  对人的identity和attribute有很强的选择性,一个神经元    对于某一个神经元对布什的500+张图像全部响应,还有的神经元对布什的500+张图像都不响应,所以,如果做布什的分类的话,我们用一个神经元也能达到90+%的正确率;
还有一组跟LBP作对比的实验,实验结果如图

对所有节点的平均响应排序,同样神经元对其他图像的响应,其结果如上图,可见响应度低或者高对布什图像具有很好的分辨能力,但是中间的结点,其分辨能力就没有那么好了,可能是有些响应,有些不响应,但是LBP是呈均匀分布的形态,对布什图像响应的结点,对其他图像也是响应也强,所以相较而言,Deep 效果更好

  • Robustto Occlusion 对遮挡具有鲁棒性

还是一组对比实验,将遮挡图像的识别率比较稳定,可见用LBP识别下降比较快,我们知道有不同曾四的特征,每一层次的特征拿出来,看是不是具有鲁棒性,可以看出,随着层数增加,识别结果的鲁棒性比较强,最底层的特征跟LBP特征差不多对遮挡比较敏感,说以我们知道网络底层学习到的都是局部特征,高层学到的是全局特征。遮挡的幅度在一个范围之内,其pattern是稳定的,只是幅度有不同程度的变化。

所以作者得出三个结论:

  1. Moderate Sparse 
  2. Selective to Identities and Attributes
  3. Robust to Occlusion

新发现--台湾周志成 线代启示录

台湾周志成个人网站 线代启示录,周 号称 台湾线代之神
  • coder_oyang
  • coder_oyang
  • 2015年07月31日 09:31
  • 3473

MIT提出Matlab插件mNeuron:实现深度模型神经元的可视化

MIT提出Matlab插件mNeuron:实现深度模型神经元的可视化 By 黄小天2017年6月27日 15:49 近日,麻省理工学院(MIT)Antonio Torralba 等人发...
  • starzhou
  • starzhou
  • 2017年06月30日 12:47
  • 152

Deep Learning论文笔记之(七)深度网络高层特征可视化

Deep Learning论文笔记之(七)深度网络高层特征可视化zouxy09@qq.comhttp://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看...
  • zouxy09
  • zouxy09
  • 2013年08月16日 23:22
  • 35623

Deep Learning---神经网络可视化netcope工具改进版

新增了双击右边网络区域可隐藏或者打开左边区域 国外链接可访问: http://yicm.me/netscope/#/editor 国内链接可访问(较快): http://free...
  • FreeApe
  • FreeApe
  • 2017年06月04日 22:50
  • 572

DeepLearning: 数据处理5:将caffe训练时屏幕输出可视化(matlab代码)

结合上一篇内容,先将屏幕输出保存到文本中,然后在使用本文中的代码。。。同样,这里只是我的环境下调通的,根据个人,适当调整代码就行了。。。% 根据caffe输出文档,作出accuracy , loss图...
  • lilai619
  • lilai619
  • 2016年04月27日 11:00
  • 1383

deep learning framework(不同的深度学习框架)

常用的deep learning frameworks 基本转自:http://www.codeceo.com/article/10-open-source-framework.html 1....
  • tina_ttl
  • tina_ttl
  • 2016年04月01日 10:33
  • 1379

Deep learning:三十一(数据预处理练习)

前言:   本节主要是来练习下在machine learning(不仅仅是deep learning)设计前的一些数据预处理步骤,关于数据预处理的一些基本要点在前面的博文Deep learning:...
  • mydear_11000
  • mydear_11000
  • 2016年03月13日 15:07
  • 732

deep learning 利用MATLAB制作GUI的数字识别可视化界面

基于GUI的手写字识别系统
  • hlx371240
  • hlx371240
  • 2014年11月05日 10:14
  • 5123

个人阅读的Deep Learning方向的paper整理

http://hi.baidu.com/chb_seaok/item/6307c0d0363170e73cc2cb65 个人阅读的Deep Learning方向的paper整理,分了几部分吧...
  • sunmenggmail
  • sunmenggmail
  • 2014年03月10日 10:42
  • 19843

Bengio <Deep Learning> 笔记

书本介绍:The Deep Learning textbook is a resource intended to help students and practitioners enter the ...
  • hellonlp
  • hellonlp
  • 2016年11月10日 22:35
  • 680
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Deep Learning 的一些认识
举报原因:
原因补充:

(最多只允许输入30个字)