吴恩达 《神经网络和深度学习》 笔记（一）深度学习概论

• 博主自己是在网易云课堂快速入门学习课程的，有时间仔细研究的同学可以移步吴恩达老师自己开发的平台Coursera完成配套的编程练习
• 这里是一些随手重点，复习笔记，并不是保姆教程

什么是神经网络

• 深度学习（Deep Learning）就是更复杂的神经网络（Neural Network）
• 以房价预测模型为例
  注意上图神经元的预测函数（蓝色折线）在神经网络应用中比较常见。我们把这个函数称为ReLU函数，即线性整流函数（Rectified Linear Unit），形如下图所示：
  

用神经网络进行监督学习

• 监督学习与非监督学习（聚类算法）本质区别就是是否已知训练样本的输出y
• 应用举例：房屋价格预测，线上广告，电脑视觉，语音识别，智能翻译，自动驾驶
• CNN（卷积神经网络）和RNN（循环神经网络）是比较常用的神经网络模型。CNN一般处理图像问题，RNN一般处理序列数据。
• 数据类型一般分为两种：Structured Data和Unstructured Data。Structured Data通常指的是有实际意义的数据，而Unstructured Data通常指的是比较抽象的数据。

为什么深度学习会兴起

• 如下图所示，横坐标x表示数据量（Amount of data），纵坐标y表示机器学习模型的性能表现（Performance）。

深度学习模型由于网络复杂，对大数据的处理和分析非常有效。当然，在数据量不大的时候，例如上图中左边区域，深度学习模型不一定优于传统机器学习算法，性能差异可能并不大。

• 数据量的几何级数增加，加上GPU出现、计算机运算能力的大大提升，使得深度学习能够应用得更加广泛。
• 算法上的创新和改进让深度学习的性能和速度也大大提升。之前神经网络神经元的激活函数是Sigmoid函数，后来改成了ReLU函数（修正线性单元）。（之所以这样更改的原因是对于Sigmoid函数，在远离零点的位置，函数曲线非常平缓，其梯度趋于0，所以造成神经网络模型学习速度变得很慢。然而，ReLU函数在x大于零的区域，其梯度始终为1，尽管在x小于零的区域梯度为0，但是在实际应用中采用ReLU函数确实要比Sigmoid函数快很多。）

杂记

• 回归问题：离散→线性
  分类问题：1 or 0
• 更大的神经网络 or 更多数据→更好的神经网络上的表现