安装
按照官网教程安装,我在 OS X 10.9 和 Ubuntu 14.04 上面都安装成功了。主要麻烦在于 glog gflags gtest 这几个依赖项是google上面的需要翻墙。由于我用Mac没有CUDA,所以安装时需要设置 CPU_ONLY := 1。
如果不是干净的系统,安装还是有点麻烦的比如我在OS X 10.9上面,简直不是一般的麻烦,OS X 10.9 默认的编译器是clang,所以还要修改编译器和重行编译一大堆依赖库。这方面其实网上教程很多,涵盖了各种你可能遇到的问题,多Google下问题还是可以解决的。
目录结构
caffe文件夹下主要文件: 这表示文件夹
data
用于存放下载的训练数据docs
帮助文档example
一些代码样例matlab
MATLAB接口文件python
Python接口文件model
一些配置好的模型参数scripts
一些文档和数据用到的脚本
下面是核心代码文件夹:
tools
保存的源码是用于生成二进制处理程序的,caffe在训练时实际是直接调用这些二进制文件。include
Caffe的实现代码的头文件src
实现Caffe的源文件
后面的学习主要围绕后面两个文件目录(include
和src
)下的代码展开
源码结构
由于include
和src
两个目录在层次上基本一一对应因此主要分析src
即可了解文件结构。
这里顺便提到一个有意思的东西,我是在Sublime上面利用SublimeClang插件分析代码的(顺便推荐下这插件,值得花点时间装)。在配置的时候发现会有错误提示找不到”caffe/proto/caffe.pb.h”,去看了下果然没有,但编译的时候没有报错,说明是生成过后又删除了,查看Makefile文件后发现这里用了proto编译的,所以在”src/caffe/proto”下面用CMakeLists文件就可以编译出来了。
src
gtest
google test一个用于测试的库你make runtest时看见的很多绿色RUN OK就是它,这个与caffe的学习无关,不过是个有用的库caffe
关键的代码都在这里了test
用gtest测试caffe的代码util
数据转换时用的一些代码。caffe速度快,很大程度得益于内存设计上的优化(blob数据结构采用proto)和对卷积的优化(部分与im2col相关)[1]。proto
即所谓的“Protobuf”[2],全称“Google Protocol Buffer”,是一种数据存储格式,帮助caffe提速。layers
深度神经网络中的基本结构就是一层层互不相同的网络了,这个文件夹下的源文件以及目前位置“src/caffe”中包含的我还没有提到的所有.cpp文件就是caffe的核心目录下的核心代码了。
源码主要关系
如上所言我们现在可以知道,caffe核心中的核心是下面的文档和文件:(这部分目前不清楚的地方先参照别人的观点)
- blob[.cpp .h] 基本的数据结构Blob类[3]。
- common[.cpp .h] 定义Caffe类
- internal_thread[.cpp .h] 使用boost::thread线程库
- net[.cpp .h] 网络结构类Net
- solver[.cpp .h] 优化方法类Solver
- data_transformer[.cpp .h] 输入数据的基本操作类DataTransformer
- syncedmem[.cpp .h] 分配内存和释放内存类CaffeMallocHost,用于同步GPU,CPU数据
- layer_factory.cpp layer.h 层类Layer
layers
此文件夹下面的代码全部至少继承了类Layer
Caffe的官方说明
根据Caffe官方文档介绍,caffe大致可以分为三层结构blob,layer,net。数据的保存,交换以及操作都是以blob的形式进行的,layer是模型和计算的基础,net整和并连接layer。solver则是模型的优化求解。
[1]: linger: 我所写的CNN框架 VS caffe
[2]: Google Protocol Buffer 的使用和原理
[3]: caffe源码简单解析——Blob(1)