李宏毅机器学习课程笔记：深度学习简介

课程地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html​

深度学习的发展趋势

深度学习发展历史：

1969 Perceptron的局限：连异或逻辑都无法实现

1986 Backpropagation：重要技术，通常使用三个隐含层，因为超过3个隐含层很难实现

2006 突破，受限玻尔兹曼机（RBM），这个方法很复杂

 

深度学习的三个步骤：定义一组方程；评价方程的优劣；选择最佳方程

第一步 定义一个组方程

神经网络，本质上就是多个logistic回归组合在一起

 

全连接前馈网络

 

可以用这样的方式来表示，所谓的“深度”，就是有很多层隐含层。

 

网络的运作-用矩阵表示：一连串向量乘矩阵再加向量的运算，这样的表示方法可以利用GPU加速

 

如何看待整个网络：

隐含层可以看做特征提取器，输出可以看做一组新的特征

输出层可以看做多类别分类器

 

第二步 定义一个函数的好坏

 

针对一个示例，使用交叉熵为标准，得到损失函数

 

针对所有示例，去每一个例子的损失函数和作为整体的损失函数

 

第三步 找一个最好的方程——梯度下降方法