21caffe[1]_caffe初见

开坑，在拙劣地使用过caffe后，读《21天实战caff》，记录些理论知识，会夹杂些从网络上搜集到的其他。

---

1、基础概念：泛化、过拟合；机器学习、深度学习；监督学习、无监督学习。

2、从传统的机器学习到深度学习：构建模式识别或机器学习系统需要技艺高超的工程师和经验丰富的领域专家来设计Feature Extractor，将原始数据转化为合适的中间表示形式或Feature Vector，学习子系统可以对输入进行检测或分类。深度学习不需人工设计特征提取器，由机器自动学习获得，特别适用于变化多端的大量数据。

3、从表示学习到深度学习：在表示学习Representation Learning系统中，直接以原始数据形式提供机器输入，自动发现用于检测和分类的表示。深度学习是一种多层表示学习方法，用简单的非线性模块构建而成，这些模块将上一次表示（从原始数据开始）转化为更高层、更抽象的表示。比如，第一层提取边缘信息，第二层检测边缘信息按特定方式排列组合的图案，第三层将图案组合成部位【高层特征可由低层特征组合得到】......当然，这个学习的过程无法预估，由机器决定哪些特征保留，哪些特征抑制。

4、卷积神经网络ConvNet四项基本原则：局部感受野、共享权值、下采样、使用多个卷积层。

5、模型参数量和数据量的关系影响：a)模型参数远大于数据量时，相当于求解一个欠定方程，存在多解的可能性，容易产生过拟合问题；b)模型参数远小于数据量时，相当于求解超定方程，可能无解，或者有解但准确率低，属于欠拟合问题；c)模型参数与数据量匹配，相当于求解恰定方程，既能避免过拟合，又能兼顾准确率，然而如何做到匹配，是一个工程问题。

6、依赖包：a)ProtoBuffer实现内存和非易失存储介质（如硬盘文件）交换的协议接口；b)Boost相当于C++准标准库；c)GFLAGS起到命令行参数解析的作用；d)GLOG起到记录日志的作用；e)BLAS主要负责CPU端的数值计算（比如矩阵乘法）；f)HDF5一种高效存储和分发科学数据的数据格式（caffe模型可选HDF5和默认的ProtoBuffer格式保存）；g)OpenCV是开源计算机视觉库，主要用作图像存取和预处理功能；h)LMDB和LEVELDB目前后者更受欢迎，意为闪电般的内存映射型数据库管理器，起到数据管理的作用，将形形色色的原始数据转换为统一的Key-Value存储，便于Caffe的DataLayer获取，另一方面提高了磁盘的IO利用率；h)Snappy是一个用来压缩和解压缩的C++库，旨在提供较高的压缩速度和合理的压缩率。