台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning
最近几年,deep learning发展的越来越快,其应用也越来越广。但深度学习的发展并非是一帆风顺的。
简单了解深度学习的历史后,再看一下做深度学习的步骤。很简单,就像是把大象放进冰箱里一样简单。共分为3步。
Step 1:Neural Network
Step 2:Goodness of function
Step 3:Pick the best function
Step 1:Neural Network
神经网络的示意图如下:
如上图所示:“神经元”不同的连接方式会有不同的网络结构。网络参数
θ
是在“神经元”中所有的权重和偏置。
对于深度学习而言,网络结构就相当于函数集合(下图以全连接前馈网络为例)。
深度学习的网络层分为三类:输入层、隐藏层和输出层。见下图:
深度学习指的是有很多的隐藏层。在网络结构中的计算均是以矩阵的形式进行。
正如上图所示,可以利用并行计算的方式来加速矩阵操作。
隐藏层的作用是特征提取,从而使得特征提取这一步变为全自动的。
以手写数字识别为例,需要自己决定构建网络结构,而通常这一步是比较困难的。需要自己决定网络有多少层?每层有几个神经元?大多靠的是反复试验+直觉。
Step 2:Goodness of function
求解函数,首先定义损失函数,同样以手写数字识别为例,此处利用了交叉熵。
Step 3:Pick the best function
利用梯度下降法求解参数
θ
.
不断迭代,直至找到最优解。