21天决战Caffe读书笔记--1

加油咯，骚年

1. 传统机器学习： 原始数据->特征提取器->分类器->结果。

   深度学习：核心优势-不需要人工设计特征提取器，由机器学习自动学习获得好的特征。适用于变化多端的数据，有优良的泛化能力和鲁棒性

2. SGD 随机梯度下降法，每个小样本子集提供了所有样本平均梯度的带噪声估计。更快得到好的权值

3. 浅层学习需要有好的特征提取器，选择重要的特征，对无关信息（如狗的坐姿）具有不变性。广义非线性特征（如高斯核函数）泛化能力差。

4. 深度学习构架：将简单模块多层堆叠，多个非线性层可以实现复杂函数

5. 卷积神经网络思想基本原则：局部互联，共享权值，下采样，多个卷积层。卷积层-非线性层-下采样层。需要好好看一下

6. 模型参数量和数据量要匹配：> 欠定方程，多解，过拟合；< 超定方程，无解，欠拟合。（可以把大模型先在大数据集（如ImgNet)上预训练，然后再对特定数据集（如人脸）精调）

7. 工具：Caffe:  CNN 速度快，适合特征提取，

   tensorflow: 移植性好，支持多种深度学习模型，效率稍低

   theano: LG, MLP, CNN,AE等，计算速度慢，适合研究