什么是深度学习?
人工智能>>机器学习>>深度学习,他们是包含的关系。所有使用计算机模仿人行为的技术都是人工智能;不通过特定编程来使计算机学习处理一系列问题的技术是机器学习;使用神经网络来挖掘数据模式是深度学习。也就是说深度学习的本质是对数据的处理方法。
深度学习的结构模块——感知器
前向传播的感知器是深度学习中最基础的结构模块之一,它由输入、权重、求和、非线性激活、输出五部分组成。在这里需要注意的是:
的结果是一个数字,所以非线性函数处理的对象是个数字,输出的
也是个数字;
增加了偏置,使数据能够在不同的非线性激活函数中有效地传递下去;
常用的非线性激活函数有S型函数、双曲函数、线性整流函数。这里展示了他们的函数图像、导数图像、和tensor flow中的函数指令。不难发现,前二者都具有使数据收敛在0~1的能力,并且越偏离中心,其对结果影响的变化量(即导数)越小。
非线性激活函数的作用是向神经网络中引入了非线性因素,使得其能够处理非线性问题。图像处理中的语义分割,图像转文字的语义识别、复杂数据的分类等都依赖于非线性的模式。这是深度学习能应用在大多数实际场景中的基础。
这是一个二维数组作为输入的例子。令求和结果等于0,我们得到了一条分割输入数组平面的直线。
以使用S型激活函数为例,在直线右侧,激活函数的输入,对应的
;在直线左侧,激活函数的输入
,对应的
。在这里我们可以发现,输入平面内平行于直线