Caffe 体验和学习

Deep Learning

断断续续看了有一段时间DL了。最近因为准备找工作开始加码

---

GPU

• cat /proc/driver/nvidia/gpus/0/information

Caffe

总的来说很顺利。目前就是安装软件而已。按照官网说明做了，用native Make方式安装。只碰到一个问题：

• make runtest 报错：

  • .build_release/tools/caffe: error while loading shared libraries: libhdf5_hl.so.10: cannot open shared object file: No such file or directory
  • 安装 libhdf5-serial-dev后有 _/usr/lib/x86_64-linux-gnu/libhdf5_hl.so.7_ ，原以为是版本问题
  • 后来发现 anaconda下装的有.so.10: /anaconda3/lib/libhdf5_hl.so.10
  • Error loading shared library libhdf5_hl.so. #1463

• make runtest crash

I0430 12:39:58.221712 43158 layer_factory.hpp:77] Creating layer mnist
I0430 12:39:58.222203 43158 net.cpp:91] Creating Layer mnist
I0430 12:39:58.222321 43158 net.cpp:399] mnist -> data
I0430 12:39:58.222364 43158 net.cpp:399] mnist -> label
I0430 12:39:58.223018 43161 db_lmdb.cpp:35] Opened lmdb examples/mnist/mnist_train_lmdb
I0430 12:39:58.269757 43158 data_layer.cpp:41] output data size: 64,1,28,28
F0430 12:39:58.270789 43158 math_functions.cu:79] Check failed: error == cudaSuccess (11 vs. 0)  invalid argument
*** Check failure stack trace: ***
    @     0x7f28cd962daa  (unknown)
    @     0x7f28cd962ce4  (unknown)
    @     0x7f28cd9626e6  (unknown)
    @     0x7f28cd965687  (unknown)
    @     0x7f28ce0dc2b8  caffe::caffe_gpu_memcpy()
    @     0x7f28ce0a0aee  caffe::SyncedMemory::to_gpu()
    @     0x7f28ce09ffa9  caffe::SyncedMemory::mutable_gpu_data()
    @     0x7f28ce025fa2  caffe::Blob<>::mutable_gpu_data()
    @     0x7f28ce01569b  caffe::BasePrefetchingDataLayer<>::LayerSetUp()
    @     0x7f28ce052b7c  caffe::Net<>::Init()
    @     0x7f28ce053a05  caffe::Net<>::Net()
    @     0x7f28ce09975a  caffe::Solver<>::InitTrainNet()
    @     0x7f28ce09a85c  caffe::Solver<>::Init()
    @     0x7f28ce09ab8a  caffe::Solver<>::Solver()
    @     0x7f28ce087e53  caffe::Creator_SGDSolver<>()
    @           0x40ed7e  caffe::SolverRegistry<>::CreateSolver()
    @           0x407e92  train()
    @           0x405d1c  main
    @     0x7f28ccc70ec5  (unknown)
    @           0x406451  (unknown)
    @              (nil)  (unknown)
Aborted (core dumped)

• 结果是因为GPU太老了（Quadro FX 3800）！！Caffe用的GPU上的double类型不支持
• 换了台机器和GPU（K5000）就好了

• Python wrapper

  • 先在Makefile.config里打开WITH_PYTHON_LAYER := 1
  • 注意必须重新编译 make all
  • Caffe的python module放在 $CAFFEROOT/python/下
  • You should not import the module in the caffe/python/caffe directory!
  • REMEMBER to perform make pycaffe so $CAFFEROOT/python/caffe/_caffe.cpp get compiled to _caffe.so which can be imported by import _caffe

• Anaconda

In file included from /usr/include/boost/python/detail/prefix.hpp:13:0,
                 from /usr/include/boost/python/args.hpp:8,
                 from /usr/include/boost/python.hpp:11,
                 from src/caffe/layer_factory.cpp:4:
/usr/include/boost/python/detail/wrap_python.hpp:50:23: fatal error: pyconfig.h: No such file or directory
 # include <pyconfig.h>
                       ^
compilation terminated.

where I’ve got a bunch of pyconfig.h on the very machine…

/data/Experiments/anaconda2/include/python2.7/pyconfig.h
/data/Experiments/anaconda2/pkgs/python-2.7.11-0/include/python2.7/pyconfig.h
/usr/include/python2.7/pyconfig.h
/usr/include/x86_64-linux-gnu/python2.7/pyconfig.h         

• This is because: Anacoda lines in Makefile.config are all commented out:

# Anaconda Python distribution is quite popular. Include path:
# Verify anaconda location, sometimes it's in root.
# ANACONDA_HOME := $(HOME)/anaconda
# PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
        # $(ANACONDA_HOME)/include/python2.7 \
        # $(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include \

• make sure $(ANACONDA_HOME)/include/python2.7 are included properly

• Be very careful about different Python installations

  • There is always a system Python, installed at /usr/bin/[python2.7|python3.4m] and /usr/local/lib/python2.7/dist-packages/
  • I really like Annaconda now. Almost got everything installed, including pip. HOWEVER, there are still some packages have to use pip to install, e.g. easydict.

  • 加粗 Ctrl + B
  • 斜体 Ctrl + I
  • 引用 Ctrl + Q
  • 插入链接 Ctrl + L
  • 插入代码 Ctrl + K
  • 插入图片 Ctrl + G
  • 提升标题 Ctrl + H
  • 有序列表 Ctrl + O
  • 无序列表 Ctrl + U
  • 横线 Ctrl + R
  • 撤销 Ctrl + Z
  • 重做 Ctrl + Y

Markdown及扩展

Markdown 是一种轻量级标记语言，它允许人们使用易读易写的纯文本格式编写文档，然后转换成格式丰富的HTML页面。 —— [ 维基百科 ]

使用简单的符号标识不同的标题，将某些文字标记为粗体或者斜体，创建一个链接等，详细语法参考帮助？。

本编辑器支持 Markdown Extra , 　扩展了很多好用的功能。具体请参考Github.

表格

Markdown　Extra　表格语法：

项目	价格
Computer	$1600
Phone	$12
Pipe	$1

可以使用冒号来定义对齐方式：

项目	价格	数量
Computer	1600 元	5
Phone	12 元	12
Pipe	1 元	234

定义列表

Markdown　Extra　定义列表语法： 项目１ 项目２

定义 A

定义 B

项目３

定义 C

定义 D

定义D内容

代码块

代码块语法遵循标准markdown代码，例如：

@requires_authorization
def somefunc(param1='', param2=0):
    '''A docstring'''
    if param1 > param2: # interesting
        print 'Greater'
    return (param2 - param1 + 1) or None
class SomeClass:
    pass
>>> message = '''interpreter
... prompt'''

脚注

生成一个脚注1.

目录

用 [TOC]来生成目录：

数学公式

使用MathJax渲染LaTex 数学公式，详见math.stackexchange.com.

• 行内公式，数学公式为：$\Gamma(n) = (n-1)!\quad\forall n\in\mathbb N$。
• 块级公式：

$$x = \dfrac{-b \pm \sqrt{b^2 - 4ac}}{2a}$$

更多LaTex语法请参考 这儿.

UML 图:

可以渲染序列图：

或者流程图：

• 关于 序列图 语法，参考 这儿,
• 关于 流程图 语法，参考 这儿.

离线写博客

即使用户在没有网络的情况下，也可以通过本编辑器离线写博客（直接在曾经使用过的浏览器中输入write.blog.csdn.net/mdeditor即可。Markdown编辑器使用浏览器离线存储将内容保存在本地。

用户写博客的过程中，内容实时保存在浏览器缓存中，在用户关闭浏览器或者其它异常情况下，内容不会丢失。用户再次打开浏览器时，会显示上次用户正在编辑的没有发表的内容。

博客发表后，本地缓存将被删除。　

用户可以选择 把正在写的博客保存到服务器草稿箱，即使换浏览器或者清除缓存，内容也不会丢失。

注意：虽然浏览器存储大部分时候都比较可靠，但为了您的数据安全，在联网后，请务必及时发表或者保存到服务器草稿箱。

浏览器兼容

1. 目前，本编辑器对Chrome浏览器支持最为完整。建议大家使用较新版本的Chrome。
2. IE９以下不支持
3. IE９，１０，１１存在以下问题
   
   1. 不支持离线功能
   2. IE9不支持文件导入导出
   3. IE10不支持拖拽文件导入

---

---

1. 这里是 脚注 的 内容. ↩