吴恩达深度学习视频笔记1-1:《神经网络和深度学习》之《深度学习概论》

摘要


本文总结的是课程一《神经网络和深度学习》的第一周《深度学习概论》,共6小节。视频请访问deeplearning.ai或者网易云课堂。


1.1 欢迎词


Andrew的愿望:让成千上万的人使用人工智能,去解决真实世界的问题,创造一个人工智能驱动的社会。

 

1.2 什么是神经网络


machine learning里的housing price prediction的经典例子为例,Pricesize ofhouse以散点图的形式呈现在二维坐标系中。


用直线拟合pricesize of house的关系并不合适,因为price不可能是负数。理想的拟合函数是一段从0起始的水平直线和斜线构成的折线段,这是Relu(修正线性单元)函数



这个折线段就是一种简单的神经网络,size of house作为输入,通过节点,输出price。这个节点就是一个neuron,多个neuron可以相互叠加。


现在我们不仅用房屋面积预测价格,还加入了其他特征预测,比如#bedroomszip codewealth等。



X现在增加到四种输入,y还是price,这就构成了一个更大的神经网络。神经网络的特点在于,你要做的只是输入x,就能达到输出y,所有中间过程无需关心。每一个中间节点neuron会受到所有输入的影响,当然你可以指定是否受到这些输入的影响。



给定足够多的xy的样本,神经网络可以精确计算从xy的精确映射函数。

 

1.3 监督学习


监督学习指的是给出输入x,预测输出y1.2节介绍的房价预测就是一个例子。广告点击预测、计算机视觉领域的图像分类,以及语音识别、机器翻译、无人驾驶都是监督学习的案例。



房价预测、广告点击预测使用的是标准的神经网络,图像分类使用的是卷积神经网络,序列数据,比如音频,语音识别、机器翻译使用的是循环神经网络。无人驾驶则更为复杂,使用到的是一些混合神经网络。3种网络的实例如下图。




结构化数据里每个特征都有明确的定义,非结构化的数据(音频、图像、文字)的特征则没有。人类则天生地具备识别和学习非结构化数据的能力。

 

1.4 深度学习流行起来的原因


传统的机器学习方法在数据量增加到一定值之后,性能上升就会进入平台期。对于深度学习来说,随着数据量的增加和模型大小的增加,性能会有显著提升。推动深度学习的因素是scale,不仅仅指神经网络的规模,也指数据集的规模。




我们用(xy)表示标记的样本,m表示训练样本的数量。当数据集不大的时候,决定性能的是主要是手工设计的组件,一个精心设计的SVM也许取得比神经网络还好的效果。数据集很大的时候,神经网络才会发挥其特长。



近些年来,算法方面也取得巨大创新,这些创新很大程度也是为了推动运算速度的提升。举个例子,常用的激活函数从sigmoid演进到Relu,正是因为sigmoid在接近1的时候,斜率很低接近0,梯度下降法运行会很慢。Relu的斜率都是1,梯度下降法不会出现运行慢的问题。


另外一个需要提升运算速度的原因是,很多时候,从业者凭借直觉有了一个想法,然后写代码,做实验,根据结果验证想法,如此循环。计算速度的提升可以加速迭代,能更快改进想法。

 

1.5课程介绍、1.6课程资源(略)


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值