深度学习 day01深度学习概论

01 什么是神经网络

深度学习指的是训练神经网络

---

• ReLU（修正线性单元）函数：修正指的是取不小于0的值。下图就是根据这个函数画的单神经元网络。

• 下面是有更多特征时的神经网络：神经网络的一部分神奇之处在于不管训练集多大，只要输入x就能得到输出y，所有的中间过程都是自己完成的。神经网络你自己决定中间这个节点是什么，我们只给你四个输入特征随便你怎么计算，因此在神经网络中，输入层在中间层连接数是很高的。

02 用神经网络进行监督学习

• 下面是神经网络创造价值的一些案例：对于图像领域一般使用CNN（卷积神经网络）；对于序列数据经常使用RNN（循环神经网络），其中语言最自然的表示方式也是序列；而对于复杂的应用就需要更加复杂的混合神经网络结构

• 下图分别是：标准神经网络、卷积神经网络、循环神经网络

• 机器学习被应用于结构化数据和非结构化数据：结构化数据是数据的数据库；非结构化数据就好比语音、图像、自然语言。

03 为什么深度学习会兴起？

• 下面是训练带有标签样本的不同的算法，随着数据量的增加各个算法的表现变化。可以看出神经网络比其他算法要好得多。

• 提升计算速度：左图通过改变算法使得代码运行更快。比如说下图机器学习中的sigma函数在两端的区域梯度会接近于0，这样学习将会变得特别缓慢（梯度下降算法中参数更新的慢当然学习也就慢）。通过改变激活函数，神经网络用ReLU函数，它的梯度对于所有为正值的输入，输出都为1。右图通过加快计算速度从而加快迭代的速度（转一圈需要的时间）来使效率提升。