横轴是时间,从2012年的第一个季度到2016年的第一个季度,纵轴是谷歌内部项目使用深度学习的数量的变化图。
回归深度学习的历史:
一个隐藏层可以代表任意的函数,为什么需要这么深的网络呢?
RBM intialization并不是真正的突破,起到的效果很有限,所以现在文献中很少提了。
深度学习的步骤如下所示:
全连接层:
计算结果如下所示:
给定神经网络的结构,本质上相当于定义一个函数集合。
相邻层之间的神经元两两之间都有连接,所以称为是全连接层。
深度学习指的是包含很多隐藏层的网络。
全连接层本质上就是矩阵的乘法。
GPU提高了矩阵运算的速度。
隐藏层是对特征进行提取,输出层是得到类别。
手写数字识别,所使用的神经网络的输入是256维,输出是10维。
超参数的选择?
AutoML
梯度下降:
自己能计算梯度嘛?
反向传播可参考以下链接:
http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN%20backprop.ecm.mp4/index.html
网络越深效果越好吗?
为什么不使用宽度学习,而是使用深度学习呢?
推荐资料如下所示:
- My Course: Machine learning and having it deep and structured
http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html
6 hour version: http://www.slideshare.net/tw_dsconf/ss-62245351 - “Neural Networks and Deep Learning” written by Michael Nielsen
http://neuralnetworksanddeeplearning.com/ - “Deep Learning” written by Yoshua Bengio, Ian J. Goodfellow and Aaron Courville
http://www.deeplearningbook.org