caffe训练中遇到的一些问题（持续更新......）

在ubuntu14.04，64位下面，遇到下面问题，需要注意：

1、error while loading shared libraries: libmkl_rt.so: cannot open shared object file: No such file or directory
解决方法：

/etc/ld.so.conf.d/ 文件夹下增加了一个文件命名为intel_mkl_settings.conf

然后在里面添加MKL库路径/opt/intel/mkl/lib/intel64

2、error while loading shared libraries: libcudart.so.5.5: cannot open shared object file: No such file or directory
解决方法：
32-bit: sudo ldconfig /usr/local/cuda/lib
64-bit: sudo ldconfig /usr/local/cuda/lib64
执行后发现还是找不到库， 报错
error while loading sharedlibraries: libcudnn.so.6.5: cannot open shared object file: No such file ordirectory
而lib文件夹是在系统路径里的，用ls -al发现是文件权限的问题，因此用下述命令先删除软连接

cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.solibcudnn.so.6.5

然后修改文件权限，并创建新的软连接

sudo chmod u=rwx,g=rx,o=rx libcudnn.so.6.5.48
sudo ln -s libcudnn.so.6.5.48 libcudnn.so.6.5
sudo ln -s libcudnn.so.6.5 libcudnn.so
sudo ldconfig -v

不做链接，可能会出现这个报错：“./build/tools/caffe:error while loading shared libraries: libcudnn.so.6.5:cannot open shared object file: No such file or directory”那是因为cuDNN没有链接成功，只能做一下硬链接。

3、在caffe训练的过程中，conv操作是向下取整；pooling操作是向上取整。

4、当测试时加的均值也是训练集的均值，因为测试集是未知的（可以是一张图片，也可以是多张图片），我们不知道，所以它的均值也是未知的。

5、Caffe实现batchnorm层是type为：BatchNorm和Scale两层一起实现的。且在BatchNorm层中的参数batch_norm_param中use_global_stats，在训练网络中要设置成false，在测试网络中要设置成true。它表示是否使用caffe内部的均值和方差，不然训练的时候会报nan或者模型不收敛。（如果不手动设置batch_norm_param的use_global_stats，会在训练过程中默认为false，测试过程中默认为true。）