深度学习21天实战caffe学习笔记《1:深度学习的过往》

1. 深度学习DL：

1.1、有监督学习、无监督学习、过拟合、训练样本、泛化、训练集、验证集、测试集这些和深度学习有关的知识需要实现明白，这里有一个深度学习的资料你们可以去下载；
http://download.csdn.net/detail/julialove102123/9840329
1.2、相关公司及牛人和技术：

     Google------->Geoffrey Hinton   
 (Googlenet  、DistBelief   、Tensorflow)
     Microsoft----->
 (Deep Residual Learning Framwork、Fast-RCNN)
     Facebook------>Yann LeCun 
(Torch  、Fbcunn)
    Amazon----->云上的机器学习服务
    NVIDIA---->GPU加速器硬件（Titan X、Tesla P100）、加速库（cuDNN）、解决方案（DIGITS DevBox、DGX-1）
    BAT------>Andrew Ng  (IDL:百度深度学习实验室）
    ...

1.3、企业热是风向标：
商汤科技SenseTime：http://www.sensetime.com/
北京旷世科技（Face++）：https://megvii.com/
涂鸦：https://docs.airtake.me/
格灵深瞳：http://www.deepglint.com/
Dress+：http://www.dress-plus.com/index.html
Linkface ：https://www.linkface.cn/

了解：
Geoffrey Hinton (http://www.cs.toronto.edu/~hinton/)
Yann LeCun (http://yann.lecun.com/)
Youshua Bengio(http://www.iro.umontreal.ca/~bengioy/yoshua_en/)
学习：Andrew ng的机器学习课程:https://www.coursera.org/learn/machine-learning/home/welcome
了解：深度学习相关岗位招聘

2. 深度学习过往：

2.1、传统机器学习的局限性：
需要人为设计特征提取器

2.2、从表示学习到深度学习：
表示学习：原始数据—>自动发现用于检测和分类的表示
深度学习：多层表示方法（非线性模块构建而成），这些模块将原始数据转化为更高层更抽象的表示。（不由人工设计，而是使用通用学习方法自动从数学学习得到）；
2.3、深度学习相关基础：
【这些基础在Andrew ng里面都有讲过就不再一一详述了】
监督学习、反向传播算法；
卷积神经网络（特殊的深度前馈网络）思想基本原则：
（1）、局部互联
（2）、共享权值：更少的参数量；
（3）、下采样：局部不变性；
（4）、使用多个卷积层；
注：卷积层的单元组织为feature map，
2.4、深度学习反思：

模型参数远大于数据量时，相当于求解一个欠定方程，存在多接的可能性大，容易过拟合；
模型参数远小于数据量时，相当于求解超定方程，可能无解，或者有解但准确率很低，容易欠拟合；
模型参数与数据量匹配时，相当于秋季恰定方程，刚刚好，但是如何确定参数和数据量师哥过程问题。

复习：求导链式法则；
复习：矩阵乘法；