吴恩达深度学习第一课第一周

1.1欢迎

1.2什么是神经网络？

1.Relu函数（修正线性单元）

“修正”指的是取不小于0的值。

一个单神经元神经网络：

规模较大的神经网络是把小的神经元堆叠起来形成的。
比如：

1.3用神经网络进行监督学习

例：

1. 房价预测：输入房屋特征，输出预测价格
2. 在线广告：输入广告信息、用户信息等，输出是否需要展示，从而实现展现最有可能点开的广告
3. 计算机视觉：输入图像，输出指数，可以用来给图像打标签，常使用卷积神经网络CNN
4. 语音识别：输入音频片段，输出文本，音频表示为一维时间序列，对于序列数据，常使用循环神经网络RNN
5. 机器翻译：如输入英文句子，输出中文句子，要用到更复杂的RNNs
6. 无人驾驶：输入雷达信息以及车辆前方图片，输出车辆周围汽车位置信息，需要更复杂的多种神经网络
   其中，输入（x）和输出（y）的选择是解决问题的关键。

结构化数据

数据的数据库，各种特征都有清晰的定义。

非结构化数据

如音频、原始音频、图像，特征可能是图像中的像素或是文本中的单个单词

1.4为什么深度学习会兴起？

1. 要在神经网络上获得更好的表现，目前最好的手段是训练一个更大的神经网络或投入更多的数据

2. 训练集不大的部分，各种算法的性能相对排名并不很确定，效果取决于手工设计的组件以及算法处理方面的一些细节，来决定最终表现

3. 对于非常庞大的数据集，才能看到神经网络稳定领先于其他算法。
   -深度学习崛起初期，数据和计算能力规模的进展，训练一个神经网络的能力的进展，无论在CPU还是GPU上，这些发展让我们取得了巨大的进步。
   -近些年来，算法方面的巨大创新也推动了神经网络的发展，大部分创新都是在提升神经网络的计算速度。
   例如：从sigmoid函数转换到ReLU函数
   
   使用sigmoid函数机器学习的问题是：
   在1、2号区域sigmoid函数的斜率梯度会接近0，学习会变的非常缓慢，因为用梯度下降法，梯度接近于0时参数变化会很慢，学习也会变得很慢。而通过改变激活函数，神经网络利用ReLU，ReLU的梯度对于所有为正值的输入，输出都是1，因此梯度不会逐渐趋向于0，所以只需将sigmoid函数转化为ReLU函数，就能够使“梯度下降法”运行的更快。
   神经网络计算速度的提升推动了神经网络的发展，同时网络速度、硬件性能等的提升也会进一步推动神经网络的发展。

1.5关于这门课

本课有四周的学习材料，每周结尾十几道选择题来检验学习成果

1. 第一周：对于神经网络的介绍
2. 第二周：神经网络的编程基础，了解神经网络中“正向传播”和“反向传播”的结构、算法的过程以及如何高效实现神经网络
3. 第三周：编写单隐层神经网络，学习必须的关键概念
4. 第四周：建立一个多层的深层神经网络

第一周习题：

1. d
2. acd
3. abd
   
4. b
5. c
   
   
   

6. b
7. b
8. ac
9. b
10.ab