第一门课——第一周：深度学习引言

0.0 介绍

第一门课：神经网络基础，包括神经网络和深度学习（四周）

第二门课：深度学习实践，超参数调整、正则化、诊断偏差和方差以及一些高级优化算法（三周）

第三门课：构建机器学习工程（两周）

第四门课：CNN(s)卷积神经网络

第五门课：自然语言处理：建立序列模型RNN循环神经网络以及LSTM长短期记忆网络模型

1.1 使用神经网络进行监督学习

1、什么是神经网络？简单理解就是尝试输入一个x，即可把它映射成y。

2、举例：在监督学习中，输入一个x，习得一个函数，映射到输出y

（1）房价预测：输入房屋的一些特征，即可输出/预测房价y

（2）在线广告：输入广告信息及个人信息，预测最有可能点开广告进行展示

（3）计算机视觉：输入一个图像，输出一个指数

（4）语音识别：音频片段输入神经网络，输出文本

（5）机器翻译：输入英文句子，输出中文句子

（6）无人驾驶技术：输入汽车前方一些快照、雷达信息到神经网络，能告诉路上其他汽车的位置

3、总结：

（1）对于房地产和在线广告，通常应用相对标准的神经网络架构

（2）图像领域，通常应用卷积神经网络（Convolution Neural Network ）

（3）序列数据，如音频 语言 文字，通常应用循环神经网络（Recurrent Neural Network）

（4）对于更加复杂的应用，如无人驾驶，需应用混合的神经网络结构

4、数据的两种类型：结构化数据和非结构化数据。

结构化数据（Structured Data）是数据的数据库，如电话号码、地址、产品名称等

非结构化数据（Unstructured Data），比如音频、图像，特征可能是图像中的像素值，或者是文本中的单个单词。

1.2 为什么深度学习会兴起？

红线代表传统机器学习，如SVM，logistic regression等。当数据量比较小的时候，传统学习算法性能还可以，但当数据量不断增大，性能趋于水平。

在深度学习初期，是数据和计算能力规模的进展，训练一个特别大的神经网络的能力，无论是在CPU还是GPU，但在近几年，渐渐的见证了算法方面的极大创新，让神经网络运行的更快，如从sigmod函数到relu函数，使“梯度下降法”运行的更快。

sigmod函数 梯度就是损失函数对参数的偏导，梯度下降时，即损失函数loss变小时，对应的sigmod斜率也会趋于0，参数会变化的很慢，会减缓学习效率。

ReLU（rectified linear unit）修正线性单元，修正指的是取不小于0的值

1.3 课后习题

第 1 题

“人工智能是新电力”这个比喻指的是什么？

A.人工智能为我们的家庭和办公室的个人设备供电，类似于电力。

B.通过“智能电网”，人工智能正在传递新一波的电力。

C.人工智能在计算机上运行，因此由电力驱动，但它让计算机做以前不可能做的事情。

D.与100年前开始的电力类似，人工智能正在改变多个行业。

第 2 题

以下哪些是最近深度学习开始崛起的原因？（选3个答案）

A.我们拥有了更多的计算能力

B.神经网络是一个崭新的领域。

C.我们有了更多的数据。

D.深度学习在诸如在线广告、语音识别和图像识别等重要应用方面取得了显著的改进。

第 3 题

回想一下这个机器学习迭代的图。以下哪项陈述是正确的？（选出所有正确项）

A.能够快速地尝试各种想法可以让深度学习的工程师更快地迭代。

B.更快的计算有助于加快团队迭代一个好主意所需的时间。

C.在大数据集上训练比在小数据集上训练更快。

D.深度学习算法的最新进展使我们能够更快地训练好的模型（即使不改变CPU/GPU硬件）。

第 4 题

当一个有经验的深度学习工程师处理一个新问题时，他们通常可以在第一次尝试时利用以前问题的洞察力来训练一个好的模型，而不需要在不同的模型中重复多次。

A.对 B.不对

第 5 题

这些图中的哪一个表示ReLU激活函数？

第 6 题

用于猫识别的图像是“结构化”数据的一个例子，因为它在计算机中表示为结构化的数组。

A.对 B.不对

第 7 题

人口数据集包含不同城市人口、人均GDP、经济增长的统计数据，这是“非结构化”数据的一个例子，因为它包含来自不同来源的数据。

A.对 B.不对

第 8 题

为什么RNN（递归神经网络）被用于机器翻译，比如说将英语翻译成法语？（选出所有正确项）

A.它可以训练成一个有监督的学习问题

B.它比卷积神经网络（CNN）更强大

C.当输入/输出是一个序列（例如，一个单词序列）时适用

D.RNN表示 想法->代码->实验->想法->… 的循环过程

第 9 题

在这PPT截图中，水平轴（X轴）和垂直轴（Y轴）代表什么？

A.X轴代表数据量，Y轴代表模型规模

B.X轴代表数据量，Y轴代表模型表现

C.X轴代表模型表现，Y轴代表数据量

D.X轴代表模型的输入，Y轴代表输出

第 10 题

假设前一个问题中所描述的趋势是准确的（并且希望你的坐标轴标签正确），下列哪一个是正确的？（选出所有正确项）

A.增加训练集的大小通常不会影响算法的性能，而且可能会有很大帮助。

B.增加神经网络的规模通常不会影响算法的性能，而且可能会有很大帮助。

C.减小训练集的大小通常不会影响算法的性能，而且可能会有很大帮助。

D.减小神经网络的规模通常不会影响算法的性能，而且可能会有很大帮助。

1.4 答案

1.D 2.ACD 3.ABD 4.B 5.C 6.B 7.B 8.AC 9.B 10.AB