吴恩达深度学习笔记（一）

1.2 神经网络简介

Relu Function

神经元输入输出形成一个以下的图片，这个神经元叫做“修正线性单元”，ReLU（rectified linear unit）


四个输入单元，中间为隐藏层单元，y为预测值，中间隐藏层单元与输入单元都要全连接；
中间层代表的含义由神经网络自己决定。

神经网络实现的是输入x到预测y的精准映射函数

1.3 用神经网络进行监督学习

神经网络可以应用的场景

场景一：预测房价
场景二：在线广告，预测用户是否会点击广告
场景三：给图片打标签
场景四：语音 机器翻译，输入一段语音进行翻译成文字
场景五：转译，讲英语转译成汉语
场景六：计算机视觉，雷达信息，无人驾驶

标准的神经网络，场景一和场景二；
图像场景，通常使用的是CNN 卷积神经网络,如场景三；
语音场景，语音和时序有关，语音可以看成一维的时间序列。一系列的句子，字母单词都是序列出现的，对于序列数据使用的神经网络是RNN ；
对于复杂的信息，如雷达信息，使用的将是更复杂的混合型神经网络。

数据类型
1、结构化数据
表格型数据，方便计算机理解
2、非结构化数据
如 图片、语音、文本，人能很好地理解结构化数据，但是以往的计算机无法较好地理解。当神经网络的发展，提供了较好地机会进行实现。

提升神经网络学习能力的方法：
1、创建更大规模的神经网络
2、投入更多的训练数据

1.4 深度学习兴起的原因

数据量：数据存储的能力
计算能力：
算法改进：使深度神经网络运转的更快
将sigmoid函数转换成ReLU函数，会使梯度下降法运行得更快（原因：sigmoid函数左侧的斜率接近0，但不是，会使这一部分梯度下降的很慢；ReLU函数会使小于0的x的y都为0，斜率为0，所以梯度下降会很快）

学习资源网站：https://www.coursera.org/deeplearning-ai