华盛顿大学--初探深度学习

简单的深度学习
通过修改对应的参数，表示逻辑问题
最基本的就是表示简单的或门 和 与门

当要表示异或时，以上的就不够了，还要再加一层，才可以表示

由于神经网络需要非常大量的数据，并且计算量极大（哪怕有GPU）
如果数据不是 很多的情况下，该怎么办？？？
用深度特征（deep features），迁移学习
用深度学习提取特征，然后用简单的模型进行分类

由上图就可以知道，假设我有一大堆的猫狗的图片，为了精确的区分猫狗，我运用8层，一千五百参数的神经网络。
现在，我又有一些其他的图片，用于区分哪个是椅子，那个不是。但是我的数据量很少，所以就不能用神经网络。那该怎么办？？
我们可以考虑 用深度特征（deep features），迁移学习 的方法解决！！！
即用深度学习提取特征，然后用简单的模型进行分类

我们用神经网络训练猫狗时，用了8层，但其实只有最后一两层才是用于区分哪个是猫，哪个是狗！！！其他的都是用于提取图片的特征。比如 光线强度，折叠程度，颜色，等等才！！！其实这些特征可以直接运用到 区分椅子的模型里。即把猫狗大战的神经网络模型的前几层的参数保持不变，直接给 椅子模型使用，再在椅子模型后加上一个简单的分类模型（比如svm,logistic 回归），就形成了最终的模型！！！