深度学习经历过程（caffe学习过程）

深度学习记录

一、 第一阶段：基本知识的学习

小菜是从2016年6月初开始接触强大而神秘的Deep Learning，之前一直在学习传统的机器学习，学习DL之前，所接触的DL也就是每次参加从实验室的组会，听师姐汇报一些DL的理论知识，还有就是每次和一些大牛聊天的时候听他们说DL是多么的强大多么的牛X。今年出来实习，在我的实习老师的带领下终于可以开始DL之旅了，所以写点学习的记录，希望自己能在这条路上能坚持下去而且有所收获。一开始是学习基本的理论知识分为三个阶段：

学习UFLDL

这是我开始学习DL的第一份资料，是斯坦福大学DL基础教学课程，是由国内牛人翻译的。因为之前了解多一点点相关的知识，所以看起来不觉得很吃力，看的也比较粗糙，里面许多数学公式没有自己推导一遍（有时间还是要回去再仔细看看的），一共花了不到一个礼拜的时间就看完了，看完了UFLDL大致对DL有了一些更进一步的了解。相关的总结已经记录到笔记本上，没有写成电子版的文档。

学习cs231n

这里我得感谢我的实习老师张xx，我的学习安排一开始都是他指导的。因为公司没有网络，所以学习cs231n主要是靠保存网页，学习的相关笔记和查找的资料都有保存和记录。cs231n也是斯坦福的教程，里面的内容也是DL的基础的理论知识，讲了神经网络和CNN。学完cs231n就开始研究比较经典的基于DL的分类论文了。

研究最近几年基于DL分类的经典论文

1.      Alexnet论文

此论文是2012年的一篇关于cnn比较经典的一篇论文，后面的论文都是受到其的影响，可以说是它掀起了DL的学习热潮。其中的网络架构是由8层网络层（5层卷积、3层全连接层），而且利用了2个GPU并行计算部分卷积层的计算过程。此网络架构在ILSVRC-2012获得很好的效果，从此也掀起了DL的学习热潮。具体的细节总结我已经记录在相应的学习总结文档了，可以参考相应的总结文档。

2.      ZFnet论文

这篇论文主要的贡献是将卷及神经网络的隐藏层的特征进行反卷积网络，从而得到特征的可视化，后面通过可视化的展示来分析如何构建更好的网络结构。最后还描述了该网络中的每层对整体分类性能的贡献，还对了该模型在其他数据集上取得的成绩，该模型击败了Caltech-101和Caltech-256测试集的历史最好的成绩。具体的细节总结我已经记录在相应的学习总结文档了，可以参考相应的总结文档。

3.      其他论文

这里就不一一介绍看过的论文了，就一次性说一下，小菜最近有点忙（嘿嘿~ ~），没有多余的时间去详细的写这些看过的论文。小菜后期还看了VGG、Google、SPP、PReLU、BN论文，都是分类的论文，也都是这几年ILSVRC比赛前几名的论文，相关的学习总结和查阅的相关的资料小菜都有保存，想要研究论文细节也可以参考小菜写的学习笔记。

小菜的DL基础理论知识学习的阶段算是有一段时间了，从入门到现在也有一个多月，学习还是有所收获的，不过理论知识学习的不是很扎实。小菜现在准备开始搭caffe的框架了，老早就想着实际跑跑开源的网络框架，小菜也明白后面的路不好走，但是小菜会努力的。现在就等着显卡了（嘿嘿~ ~）。

二、 第二阶段：实践操作—caffe的搭建和运用

个人觉得小菜还是很幸运的（哈哈…..），在我学习了DL的基本理论知识后，急需显卡的时候，公司有位前辈（以前是做深度学习的方向的）突然辞职。小菜就这样顺利的拿到了梦寐以求的显卡，公司唯一一块显卡，是NVIDIA的TITAN x系列的价值一万左右。小菜当时拿到显卡是无比的激动和兴奋的。不过这块显卡有点大，直接放到我的主机上还是有点不方便，后来小菜就把自己的硬盘拆下来放到前辈的机箱里，好了！！！到了这里小菜是有显卡的人了，从此小菜开启了caffe之旅了！！！！！

Caffe的初始

在使用caffe之前，小菜去网上看了许多关于caffe的介绍的资料和博客，还看了caffe的作者贾杨清的一个关于caffe的介绍。看完这些前期的资料，也算是对caffe有了一个大致的了解，同时小菜也总结了自己看的caffe资料，最后也把总结笔记写到自己的caffe学习笔记中，小菜还无私一下把自己写的笔记上传博客上，你可以去看看小菜的博客（csdn）：xjz18298268521。

Caffe框架的搭建

小菜非常感激实习老师张xx，我的caffe搭建是参照他的学习笔记的，在这里感谢他的无私奉献。我的caffe是Windows下搭建的，小菜是花了将近四天左右才把caffe完全搭好了，中间也出现了很多问题，有时候问题真的然小菜无语了。小菜在这里总结一下：“其实遇到问题是好事，一帆风顺并不一定是好事，经过大学和研究生的一年的历练，小菜觉得所有遇到的问题都会解决的，只要你坚持住并努力去解决。”小菜也把自己的搭建caffe框架的步骤和遇到的问题以及问题的解决方法都记录下来了，已经上传到CSDN（xjz18298268521）的博客上去了，有兴趣的可以去看看。

Caffe的实战操作

小菜用caffe跑的第一个例子就是mnist的例子，最后的训练准确率达到了95%，当时还是很兴奋的，后面小菜又在网上找了一个数据集，数据集一共有600张图片，共6类图片，每类是120张，100张train和20张test。最后用的是caffenet模型进行训练和测试自己的图片集的实验，最终的测试还是比较理想的。所有的实践操作小菜都有总结学习笔记上传到博客了。

完成上面的caffe学习和入门级的实践操作，一开始我苦于没有数据集，自己在监控视频中截取少量的数据集。这里吐槽一下，一下午盯着监控视频眼都盯花了。后来我下载了xxx的数据库，训练集8400张，测试集8400张。有了数据集小菜训练了caffenet、Googlenet、vgg。

后面小菜想在检测方面学习研究一下，还有机会小菜想看看caffe里面的源码和接口。后面还有许多东西要学，越来越发现小菜真的是很菜，要学的东西太多。。。。。。