Dark Knowledge by Hinton

转载 2014年11月21日 21:53:15

视频:https://www.youtube.com/watch?v=EK61htlw8hY

PPT: http://www.ttic.edu/dl/dark14.pdf

分析材料:http://deepdish.io/2014/10/28/hintons-dark-knowledge/ 

                http://fastml.com/geoff-hintons-dark-knowledge/


Dark Knowledge。。当我看到这个题目的时候,感觉有点被吓到了的感觉。。

这几天真正静下心来看懂了整个思想。。。感觉是很接地气的一个东东。。


dark knownledge,可以看作是softmax function 之后的probability,这些probability包含着类别之间的相关性。

比如,猫和狗的相似性,要远远大于猫和船的相似性。。。

而这种相似性,会在probability中有所体现。。。

而这部分信息一致没有被很好的利用,所以称之为dark knowledge。。


dark knowledge主要利用在两个方面:

一是:模型压缩。  这个思想,早在2006 caruana提出过。在很多竞赛时,会利用不同的网络架构,不同的初始化或者不同的训练数据等,来学习到很多网络模型,然后combine                               多个model来提高performance。  如何训练一个模型,达到这个combine model的效果呢?  减小测试时间复杂度。

二是:特殊网络的学习。 类似于一种subcategory的思想,用kmean把容易混淆的一些类聚合在一起,然后针对某些易混淆的类别,进行特殊网络的学习。。当然要解决的问题便是overfitting策略,在hinton的ppt里面有讲到。


无论是模型压缩,还是在特殊网络学习,都提到了基于soft targethard target两种目标函数。 也是整个ppt的中心吧。

一是hard target就是label信息,0 1 0 0

二是soft target是由已经训练好的model的出来的各个类别的probability信息。  比如:0.1 0.7 0.2 0.001。

       其中在soft target时,用到了raise the temperature策略,来提高soft target对应的cross entropy。


在进行模型压缩的时候,我们利用hard target 和soft target的loss function sum,来训练单一模型,努力达到很多模型combine的结果。

在进行特殊网路训练的时候,利用hard target loss来优化易混淆的某一子类,用soft target loss来优化其他所有类。


大致整理了一个简单的ppt,贴出来共享一下:




G.Hinton Dark Knowledge

Model CompressionCaruana06的文章,提出了一种压缩compressing大规模复杂网络的方法,对模型进行压缩与加速,同时不会明显损失精度。作者首先提到了ensemble mod...
  • joshuaxx316
  • joshuaxx316
  • 2016年08月16日 21:16
  • 2037

Hinton's Dark Knowledge

On Thursday, October 2, 2014 Geoffrey Hinton gave a talk (slides, video) on what he calls “dark kn...
  • omnispace
  • omnispace
  • 2017年08月22日 15:08
  • 436

蒸馏神经网络(Distill the Knowledge in a Neural Network)

本文是阅读Hinton 大神蒸馏神经网络论文的笔记,特此说明。此文读起来很抽象,但是和我的研究方向:神经网络的压缩十分相关,因此决定花气力好好理解一下。  1、Introduction   文章开篇用...
  • zhongshaoyy
  • zhongshaoyy
  • 2016年12月13日 20:26
  • 6962

Sequence-Level Knowledge Distillation

《Sequence-Level Knowledge Distillation》 序列级别的知识提炼 一、大纲 这篇论文主要讲的是模型压缩,也就是训练一个简单的网络来代替已有的复杂的网络,...
  • haitaolang
  • haitaolang
  • 2017年03月04日 01:08
  • 872

阅读笔记:深度神经网络模型压缩与加速

目前的深层卷积神经网络模型非常耗费计算资源和内存,面临着在终端部署和低延迟需求场景下难以应用的问题。因此,一种很自然的解决方案就是在保证分类准确率不显著下降的前提下对深层卷积神经网络进行压缩和加速。...
  • Hanging_Gardens
  • Hanging_Gardens
  • 2017年11月05日 10:25
  • 1003

Dark Knowledge by Hinton

视频:https://www.youtube.com/watch?v=EK61htlw8hY PPT: http://www.ttic.edu/dl/dark14.pdf 分析材料:http://...
  • yihaizhiyan
  • yihaizhiyan
  • 2014年11月21日 21:53
  • 4092

kaggle比赛模型融合指南

介绍 集成模型是一种能在各种的机器学习任务上提高准确率的强有力技术。在这篇文章中,我会分享我在Kaggle比赛中的集成方法。 在第一部分中,我们会讨论从提交文件中建立集成。主要包括: ...
  • wl_ss
  • wl_ss
  • 2017年11月13日 18:27
  • 299

基于知识提取的方法训练一个小网络

Hinton大牛的文章,关于如何得到一个又小又好的网络的。文章链接《Distilling the Knowledge in a Neural Network》 —————————— 背景介绍 ————...
  • shuzfan
  • shuzfan
  • 2016年12月23日 14:38
  • 2289

神经网络压缩:Mimic(二)Distilling the Knowledge in a Neural Network

转载请注明出处:西土城的搬砖日常
  • cookie_234
  • cookie_234
  • 2017年06月09日 14:17
  • 2333

C Knowledge

@C Programming Topics:C declarations^Complex C Declarations int i; i as an int int *i; i as a po...
  • billylu
  • billylu
  • 2007年10月10日 16:22
  • 2727
收藏助手
不良信息举报
您举报文章:Dark Knowledge by Hinton
举报原因:
原因补充:

(最多只允许输入30个字)