深度学习绪论

正式了解深度学习了，这是一个激动人心的事情。我是在吴恩达的深度学习课程中进行深度学习的学习的。吴恩达课程有五个部分，现在处在第一个部分里。第一个部分有四周的学习内容，第一周学习内容是初步了解什么是深度学习，什么是神经网络，神经网络和深度学习为什么兴起等基础性的铺垫内容。而这篇笔记，针对的就是第一部分中第一周的学习内容。我总结的是这部分课程中的重点内容，所以有些地方不甚详细，需要结合课程进行回顾。

ReLU函数：

全称为：修正线性单元。

函数开始为零，之后呈一条直线，线性递增。

最简单的神经网络：

小圆圈是一个神经元，给神经元输入房屋大小size作为输入x， 输出y为房屋价格price。这是一个最简单的神经网络。神经元在神经网络中又称为隐藏单元。

神经网络：

神经网络就是由这样的最简单神经网络堆叠起来而形成的。

蓝色，绿色都被称为神经网络的隐藏层。黄色是输入数据，红色是输出数据。

给神经网络提供足够多的输入x和输出y，神经网络可以精确得到x映射到y的函数。这就是对神经网络的训练。

一些神经网络：

卷积神经网络（CNN）常被用在图像领域。对于序列数据，如语言，时间等等，常用循环神经网络（RNN）处理。而对于一些更加复杂的问题，如无人驾驶汽车，用到各种神经网络，是混合的神经网络。

结构化数据和非结构化数据：

像房屋大小，房屋价格，卧房数量，用户年龄这些都有着清晰定义的特征，称为结构化数据，他们能被一个表格来展现。而像音频，图像，或者文本的单词这些，称为非结构化数据，和结构化数据完全相反。

为什么神经网络近年兴起：

神经网络和深度学习并不是近年才有的东西，几十年前就已经存在。当时流行传统机器学习算法。

红线，是传统机器学习算法，在处理数据时的算法性能变化，随着大量数据的输入，算法性能并没有得到提升，但是大量数据在当时需要大量的时间去获得。

黄线是小规模神经网络在输入大量数据的算法性能变化。以此类推，蓝线是中规模，绿线是大规模。

随着信息时代的发展，生活中的数据量越来越庞大，因此可以短时间内得到海量的数据作为训练样本。除此之外，算法得到了极大的发展，而且CPU，GPU等计算机硬件的发展，使得更快的计算成为可能，更快的计算意味着更短的训练时间。所以，黄线，蓝线，绿线的实现门槛降低。

所以神经网络得以快速发展，正是因为有了海量的数据和强大的计算能力。

符号约定：

m表示样本集的规模。

机器学习迭代图：

经常，深度学习工程师想到某些想法idea，然后通过代码code实现，最后在experiment实现出来，通过experiment的情况反馈到idea，然后再修改代码逐步完善。如果我们使用低级的算法，那么整个从idea到实现的过程会很久，那么如果你有很多个想法，一一实现就要花很长的时间，所以一个好的算法可以让深度学习工程师更快地实现自己的想法，使用更新的深度学习算法可以使我们能够更快地训练好模型（即使更换CPU / GPU硬件）。

增加训练集的大小通常不会影响算法的性能，但可以对神经网络的训练提供帮助。

增加神经网络的大小通常不会影响算法的性能，但可以对神经网络的训练提供帮助。