MIT深度学习笔记(一)深度学习简介

什么是深度学习?

人工智能>>机器学习>>深度学习,他们是包含的关系。所有使用计算机模仿人行为的技术都是人工智能;不通过特定编程来使计算机学习处理一系列问题的技术是机器学习;使用神经网络来挖掘数据模式是深度学习。也就是说深度学习的本质是对数据的处理方法。


深度学习的结构模块——感知器

前向传播的感知器是深度学习中最基础的结构模块之一,它由输入、权重、求和、非线性激活、输出五部分组成。在这里需要注意的是:

  • $\mathbf{X}^\top \mathbf{W}$的结果是一个数字,所以非线性函数处理的对象是个数字,输出的\hat{y}也是个数字;
  • 1\times w_{_{0}}增加了偏置,使数据能够在不同的非线性激活函数中有效地传递下去;

常用的非线性激活函数有S型函数、双曲函数、线性整流函数。这里展示了他们的函数图像、导数图像、和tensor flow中的函数指令。不难发现,前二者都具有使数据收敛在0~1的能力,并且越偏离中心,其对结果影响的变化量(即导数)越小。

非线性激活函数的作用是向神经网络中引入了非线性因素,使得其能够处理非线性问题。图像处理中的语义分割,图像转文字的语义识别、复杂数据的分类等都依赖于非线性的模式。这是深度学习能应用在大多数实际场景中的基础。

这是一个二维数组作为输入的例子。令求和结果等于0,我们得到了一条分割输入数组平面的直线1+3X_{1}-2X_{2}=0

以使用S型激活函数为例,在直线右侧,激活函数的输入z>0,对应的y<0.5;在直线左侧,激活函数的输入z<0,对应的y>0.5。在这里我们可以发现,输入平面内平行于直线

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值