Deep Learning 的一些认识

转载 2015年07月06日 20:46:59

from http://blog.csdn.net/coder_oyang/article/details/46776491

原报告作者:Xiaogang Wang

作者提出了一部分人的一个想法:Deep learning is NOT simple as fitting acomplex model to a dataset -- 意思是说:深度学习模型仅仅是一个带有大量参数的并且利用大数据train出来的复杂模型。作者为了解这个迷思,在自己实验的网络DeepID2上 的实验并用实验得到一些有意思的现象

  • Moderate Sparse -- 中等程度的稀释

如上四幅图所示,作者将网络结构的最上层神经元节点的响应可视化之后,得出一些结论:

  1. 对于一张图像,500个神经元有一半的神经元有响应,这一点可以从C图得到验证,也就是说,他是中等程度稀释的;
  2. 从A图知,对于同样一个人,比如布什,无论他是否有遮挡,还是是否对齐,虽然响应幅度不同但其响应模式是稳定的,就是说,他是响应还是不响应是一样的,但是,如果是图像换成另外一个人,比如换成鲍威尔的话,其响应模式便不一样;
  3. 单看一个神经元,一个神经元在有的图像上响应,有的图像上不响应,统计出有多少图像在这个神经元上响应,如图D所示,大概有一般的图像在这个神经元是响应的,大概另一半是不响应的。对于同一张图像他的神经元一半响应一般不响应,我们可以知道他的距离是最大的,也就是说,图像之间的辨别度比较好。如果一幅图像他的神经元不响应话,那么这些神经元的模式有可能是重叠的,单看一个神经元一半图像响应,一半图像不响应,他的熵是最大的,从这个角度来说,模型的表达能力是最大的;
  4. Selectiveto Identities and Attributes  对人的identity和attribute有很强的选择性,一个神经元    对于某一个神经元对布什的500+张图像全部响应,还有的神经元对布什的500+张图像都不响应,所以,如果做布什的分类的话,我们用一个神经元也能达到90+%的正确率;
还有一组跟LBP作对比的实验,实验结果如图

对所有节点的平均响应排序,同样神经元对其他图像的响应,其结果如上图,可见响应度低或者高对布什图像具有很好的分辨能力,但是中间的结点,其分辨能力就没有那么好了,可能是有些响应,有些不响应,但是LBP是呈均匀分布的形态,对布什图像响应的结点,对其他图像也是响应也强,所以相较而言,Deep 效果更好

  • Robustto Occlusion 对遮挡具有鲁棒性

还是一组对比实验,将遮挡图像的识别率比较稳定,可见用LBP识别下降比较快,我们知道有不同曾四的特征,每一层次的特征拿出来,看是不是具有鲁棒性,可以看出,随着层数增加,识别结果的鲁棒性比较强,最底层的特征跟LBP特征差不多对遮挡比较敏感,说以我们知道网络底层学习到的都是局部特征,高层学到的是全局特征。遮挡的幅度在一个范围之内,其pattern是稳定的,只是幅度有不同程度的变化。

所以作者得出三个结论:

  1. Moderate Sparse 
  2. Selectiveto Identities and Attributes
  3. Robustto Occlusion


相关文章推荐

Deep Learning:一、认识DL

从科学、技术和人工智能诞生之初,科学家们就在设想:机器如何能够像人类一样聪明。很多的作家通过文学作品描述这个场景,比如星球大战等等。而机器学习与深度学习是最有希望突破的两个方向。本文中我将主要介绍深度...

深度学习整体认识Deep Learning in a Nutshell

Deep learning. Neural networks. Backpropagation. Over the past year or two, I've heard these buzz wo...

Deep Learning 的一些认识

整理出的 Xiaogang Wang 的报告,他的团队做了一些比较有意思的实验,说明了DeepID的网络模型神经元节点是中度稀释的,并且对人的识别度以及特性比较敏感,同时对遮挡具有鲁棒性

斯坦福公开课深度学习Deep Learning

Deep Learning Samy Bengio, Tom Dean and Andrew Ng COURSE DESCRIPTION In this course, you'll ...

deep learning

  • 2016-08-22 16:21
  • 190KB
  • 下载

deep learning

  • 2016-09-07 09:57
  • 76KB
  • 下载

Why Does Unsupervised Pre-training Help Deep Learning?

很多最近的研究都致力于学习深层结构的算法,例如深度置信网络(DBN)和堆叠自动编码器的变形,他们在不同的领域成果斐然,大部分建立在视觉和语言数据集。监督学习任务获得的最好的结果均包括无监督学习成分,通...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)