MIT深度学习笔记（一）深度学习简介

什么是深度学习？

人工智能>>机器学习>>深度学习，他们是包含的关系。所有使用计算机模仿人行为的技术都是人工智能；不通过特定编程来使计算机学习处理一系列问题的技术是机器学习；使用神经网络来挖掘数据模式是深度学习。也就是说深度学习的本质是对数据的处理方法。

---

深度学习的结构模块——感知器

前向传播的感知器是深度学习中最基础的结构模块之一，它由输入、权重、求和、非线性激活、输出五部分组成。在这里需要注意的是：

• 的结果是一个数字，所以非线性函数处理的对象是个数字，输出的也是个数字；
• 增加了偏置，使数据能够在不同的非线性激活函数中有效地传递下去；

常用的非线性激活函数有S型函数、双曲函数、线性整流函数。这里展示了他们的函数图像、导数图像、和tensor flow中的函数指令。不难发现，前二者都具有使数据收敛在0~1的能力，并且越偏离中心，其对结果影响的变化量（即导数）越小。

非线性激活函数的作用是向神经网络中引入了非线性因素，使得其能够处理非线性问题。图像处理中的语义分割，图像转文字的语义识别、复杂数据的分类等都依赖于非线性的模式。这是深度学习能应用在大多数实际场景中的基础。

这是一个二维数组作为输入的例子。令求和结果等于0，我们得到了一条分割输入数组平面的直线。

以使用S型激活函数为例，在直线右侧，激活函数的输入，对应的；在直线左侧，激活函数的输入，对应的。在这里我们可以发现，输入平面内平行于直线