台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning

台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning

最近几年,deep learning发展的越来越快,其应用也越来越广。但深度学习的发展并非是一帆风顺的。
这里写图片描述
简单了解深度学习的历史后,再看一下做深度学习的步骤。很简单,就像是把大象放进冰箱里一样简单。共分为3步。

Step 1:Neural Network
Step 2:Goodness of function
Step 3:Pick the best function

Step 1:Neural Network

神经网络的示意图如下:
这里写图片描述
如上图所示:“神经元”不同的连接方式会有不同的网络结构。网络参数 θ 是在“神经元”中所有的权重和偏置。
对于深度学习而言,网络结构就相当于函数集合(下图以全连接前馈网络为例)。
这里写图片描述
深度学习的网络层分为三类:输入层、隐藏层和输出层。见下图:
这里写图片描述
深度学习指的是有很多的隐藏层。在网络结构中的计算均是以矩阵的形式进行。
这里写图片描述
这里写图片描述
这里写图片描述
正如上图所示,可以利用并行计算的方式来加速矩阵操作。
隐藏层的作用是特征提取,从而使得特征提取这一步变为全自动的。
以手写数字识别为例,需要自己决定构建网络结构,而通常这一步是比较困难的。需要自己决定网络有多少层?每层有几个神经元?大多靠的是反复试验+直觉。
这里写图片描述
这里写图片描述

Step 2:Goodness of function

求解函数,首先定义损失函数,同样以手写数字识别为例,此处利用了交叉熵。
这里写图片描述
这里写图片描述

Step 3:Pick the best function

利用梯度下降法求解参数 θ .
这里写图片描述
这里写图片描述
不断迭代,直至找到最优解。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值