我看AlexNet

Reference.

Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information Processing Systems, 2012, 25(2):2012.
https://code.google.com/p/cuda-convnet/

---

说来惭愧，看了深度学习快五个月了，前几周的Paper Review上刚刚注意到AlexNet，那果断用啊，话说LeNet虽然好用，那也是快20年以前的网络结构了，AlexNet是2012年的结构，不管怎么说肯定好呀。贴一张网络结构的历史

闹，这个AlexNet就是我今天要讲的东西

@Feifei Li真是厉害呀，弄了一个免费的ImageNet，又开始弄分类比赛，省了一大笔广告费就把自己的团队推到研究的最前沿，第一时间掌握到最新的科研动态，而且自己的引用率又急剧飙升，你看现在哪个图像分类研究团队要是没有引用到她的ImageNet或者相关的研究成果都不好意思投顶级期刊。
不说Feifei女神了，就说AlexNet也是一个比较旧旧的网络结构了，2014年的ImageNet冠亚军GoogLeNet和VGG也是现在特别热门的网络结构了，2015年的百度（妈逼居然给我来个学术造假，我擦百度赶紧去死吧！！！丢死人了知道吗！！！全世界都知道了！！！），接下来的深度学习研究方向主要就是

1）Fine-Tuning，
2）大规模GPU并行加速和
3）把CNN嵌入移动端来使用。
（当然还有好多研究方向我不知道喽。。）

• 大规模GPU加速这个事儿很烧钱的，一般就是那种大公司（Google，[Baidu]<-这货死了，Microsoft等）会去做，我们这种本科生用一块特斯拉的GPU就算很不错了。
• 因此，Fine-Tuning是最近的研究人员主要的攻关方向，思路很简单啊，既然Feifei女神把广义上的图像分类做绝了，那我们就做小范围的图像分类，类比一下就像[Baidu]<-这货死了把搜索引擎做绝了，那并不是搜索就没得做了，像淘宝，它也做了搜索引擎，只是仅限于商品，那请问现在要搜商品你会去[Baidu]<-这货死了的搜索框还是淘宝的搜索框呢，相信你已经懂了。在学术上，淘宝上这种搜索叫做“垂直搜索”，其他垂直搜索就比如说是校园网的站内搜索，你可以很精准地搜到和学校相关的信息，当然你也不是去[Baidu]<-这货死了那儿搜的。Fine-Tuning的意思就是用现有的学习完的广义图像网络参数作为新网络的初始化，然后扔进去一些你要做的图像的训练集去训练，得到一个你要的特异性的网络。举例子：我想用CNN来做矿泉水品牌的分类，那就在CIFAR训练完的网络作为初始网络，然后用各个品牌的矿泉水来训练，训练一个只对“矿泉水品牌分类”问题超级好的网络。这儿注意哦，CIFAR里头肯定也有矿泉水，但是没这么细，我做的就是将原来这个非特异性的网络训练成了一个对矿泉水敏感的网络。
• 把CNN嵌入到移动端要做的就是剪枝呗，把训练完的网络尽量用很少的内存来存储，因为手机慢嘛，方法可以用到很多哦，比如哈希编码，Deep compression，Squeeze net 什么的，这个里面比较有说头，接下来就是安卓、iOS编程的事儿了。

就这个套路，要是你想发一个弱弱国内期刊的话怎么办知道吗，找一个冷门的分类问题，超多的其实，举例：1）用CNN根据姨妈红的颜色判断来事儿第几天了，2）用CNN来判断脸上的是青春痘还是痔疮，或者3）用CNN来判断Baidu做了这么多缺德事该不该滚蛋 等等，都是很不错的题材，你去收集一堆（海量哦）训练集，用Fine-Tuning的方法训练一个网络，写论文稍微包装一下，okay，完事儿。你会发现现在一些很水的深度学习论文就是这样做的。呵呵。：)

---

好了，不吐槽了，说正经的。AlexNet是2012年ImageNet竞赛冠军获得者Alex Krizhevsky设计的，这个网络结构和LeNet有什么区别呢？