深度学习导论 - 读李宏毅《1天搞懂深度学习》

19710人阅读 评论(5) 收藏 举报
分类:

先引用他人关于李宏毅教授关于深度学习导论的PPT,应该非常容易入门。

”《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“

这是slideshare的链接:

没梯子的同学,可以从我的网盘下:
链接: 密码:3mty

废话少说,先上干货,整个PPT的思维导图如下:
 

深度学习概论

介绍深度学习

作者非常浅显的指出机器(深度)学习过程非常简单,分为定义方法、判断方法的优劣、挑选出最佳的方法。

对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。

神经网络的思想来源于对于人脑的生理上的研究,人脑由数亿个神经元组成,神经元通过轴突互相连接通信。神经网络和人脑类似,存在多个层级(layer),每个层级都有多个节点(神经元),层级和层级之间相互连接(轴突),最终输出结果。

对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳,逐步的将抽象的原始数据变的具体。以图片识别为例,输入是一个个像素点,经过每层神经网络,逐步变化成为线、面、对象的概念,然后机器有能力能够识别出来。

 

 第二步,评估方法的优劣。

Loss function是用于评估方法优劣,通常我们用学习出来的参数对测试数据进行计算,得出对应的预测(y)然后和真实的测试数据的目标值(t)进行比对,y和t之间的差距往往就是Loss。那么评估一个算法的好坏,就是要尽可能的降低Loss。

 

第三步,如何获得最佳的学习方法

获得最佳的学习是采用梯度下降算法,作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能,实际上更像是在一个地图上面拓荒,对周边一无所知。神经网络计算梯度的算法是反向传播算法,简称BP。

 

Why Deep?

作者首先指出越多的参数往往带来越好的预测能力,所以神经网络往往参数越多越好。那么如果是同样的参数情况下,为什么层级较多的表现会更好呢?

 

作者认为深度网络可以带来模块化的好处,随着网络的层级,神经网络会将像素元素逐渐归纳出一些基本的特征,进而变成纹理,进而变成对象。

 

训练方法

 

作者总结下来训练过程中会发现了两种情况:

1. 没有办法得到很好的训练结果 ---》 重新选择训练方式

2. 没有办法得到很好的测试结果 ---》 往往由于过度拟合导致,需要重新定义方法

 

 

优化训练方法的手段:

1. 选择合适的Loss function:使用Cross Entropy效果要优于Mean Square Error

2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高

3. Activation Function:使用ReLU替代Sigmoid可以解决梯度消失的问题,可以训练更深的神经网络

4. Adaptive Learning Rate:可以随着迭代不断自我调整,提高学习效率

5. Momentum: 可以一定程度上避免陷入局部最低点的问题

 

避免过度拟合(overfitting)的方法:

1. Early Stopping:使用cross validation的方式,不断对validation data进行检验,一旦发现预测精度下降则停止。

2. Weight Decay:参数正则化的一种方式?

3. Dropout:通过随机去掉一些节点的连接达到改变网络形式,所以会产生出多种网络形态,然后汇集得到一个最佳结果

4. Network Structure: 例如CNN等其他形态的网络

 

神经网络变体

Convolutional Neural Network (CNN)

通常情况下,一个CNN包含多次的卷积、池化,然后Flatten,最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩,核心的想法在于一些物体的特征往往可以提取出来,并且可能出现在图片的任何位置,而且通过卷积、池化可以大大减少输入数据,加快训练效率。

 

Recurrent Neural Network (RNN)

RNN的想法是可以将hidden layer的数据存储下来,然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的,所以RNN可以把这些关联性放到网络中进行学习。

 

其他前沿技术

Ultra Deep Network:2015年出现了152层的Residual Net实现了图片3.57%错误率

 

Reinforcement Learning: 通过奖励机制强化学习,并且做出相应的动作

Unsupervised Learning:

1. Deep Style

2. 生成图片

 

3. 无需人工介入理解文字的含义

 

查看评论

【286页干货】一天搞懂深度学习(台湾资料科学年会课程)

1新智元编译1来源:Linkedin译者:胡祥杰【新智元导读】本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT(共268页),由台湾大学电机工程学助理教授李宏毅主讲。作者在...
  • Scythe666
  • Scythe666
  • 2017-07-19 19:42:26
  • 7908

初步了解DeepLearning----《一天搞懂深度学习》

https://www.bilibili.com/video/av16543434/?from=search&seid=12028936768099284481 在B站看了一个讲解李宏毅教授...
  • xueying_2017
  • xueying_2017
  • 2017-12-17 16:17:12
  • 3452

1天搞懂深度学习 高清完整.pdf版下载

  • 2017年04月01日 10:47
  • 12.17MB
  • 下载

一天搞懂深度学习

深度学习 ( Deep Learning ) 是机器学习 ( Machine Learning ) 中近年来备受重视的一支,深度学习根源于类神经网络 ( Artificial Neural Netwo...
  • u012746060
  • u012746060
  • 2017-07-04 13:23:07
  • 8117

深度学习手册 《1天搞懂深度学习》

  • 2016年11月21日 23:15
  • 12.17MB
  • 下载

1天搞懂深度学习

  • 2017年09月05日 14:02
  • 12.17MB
  • 下载

一天搞懂深度学习—学习笔记2(CNN)

1.卷积神经网络(convolutional neural network) 当处理图片的时候,第一层全连接层将会非常大。为什么呢?想像一下,对于一个100 * 100 * 3的图片,如果第一层神...
  • u013735511
  • u013735511
  • 2017-10-13 10:49:19
  • 478

一天搞懂深度学习-李宏毅 pdf

  • 2018年02月17日 16:16
  • 10.52MB
  • 下载

一天搞懂深度学习—学习笔记1

Introduce of deep learning1.问题展示 正常情况下,输入为‘cat’输出为一张猫的图片;而我们研究的内容是输入一张猫的图片,输出‘cat’。f(‘cat’) = a pi...
  • u013735511
  • u013735511
  • 2017-10-12 21:46:23
  • 1363

深度学习入门(写的很好)

作者:jacky yang 链接:https://www.zhihu.com/question/26006703/answer/129209540 来源:知乎 著作权归作者所有,转载请联系作者获...
  • u014696921
  • u014696921
  • 2017-01-13 16:30:49
  • 2838
    个人资料
    持之以恒
    等级:
    访问量: 78万+
    积分: 1万+
    排名: 1855
    联系方式
    博客专栏
    文章分类
    最新评论