动手学深度学习

一、线性回归
1.
2.

3.

二、Softmax与分类模型
1.softmax([100, 101, 102])的结果等于以下的哪一项
A.softmax([10.0, 10.1, 10.2])
B.softmax([-100, -101, -102])
C.softmax([-2 -1, 0])
D.softmax([1000, 1010, 1020])
答案：C
2.对于本节课的模型，在刚开始训练时，训练数据集上的准确率低于测试数据集上的准确率，原因是
A.模型参数是在训练集上进行训练的，可能陷入了过拟合
B.训练集的样本容量更大，要提高准确率更难
C.训练集上的准确率是在一个epoch的过程中计算得到的，测试集上的准确率是在一个epoch结束后计算得到的，后者的模型参数更优
答案：C
三、多层感知机
1.关于激活函数，以下说法中错误的是
A.在多层感知机中引入激活函数的原因是，将多个无激活函数的线性层叠加起来，其表达能力与单个线性层相同
B.tanh可以由sigmoid平移伸缩得到，所以两者没有区别
C.相较于sigmoid和tanh，Relu的主要优势是计算效率高且不会出现梯度消失问题
D.如果我们需要网络输出范围是[0, 1]，可以考虑使用sigmoid函数
答案：B
2.对于只含有一个隐藏层的多层感知机，输入是256 \times 256256×256的图片，隐藏单元个数是1000，输出类别个数是10，则模型的所有权重矩阵W_{i}Wi的元素数量之和是
65546000
四、过拟合、欠拟合及其解决方案
1.关于验证数据集的描述错误的是：
A.测试数据集可以用来调整模型参数
B.验证数据集可以用来调整模型参数
C.在数据不够多的时候，k折交叉验证是一种常用的验证方法
D.k折交叉验证将数据分为k份，每次选择一份用于验证模型，其余的用于训练模型
答案：A
答案解释
测试数据集不可以用来调整模型参数，如果使用测试数据集调整模型参数，可能在测试数据集上发生一定程度的过拟合，此时将不能用测试误差来近似泛化误差。
2.关于过拟合、欠拟合概念的描述错误的是：
A.过拟合是指训练误差很低，泛化误差相对于训练误差要高很多
B.过拟合和欠拟合可以同时发生
C.欠拟合是指训练误差和泛化误差都无法到达一个较低的水平
D.过拟合和欠拟合都是在训练中容易遇到的经典问题
答案：B
答案解释
过拟合是指训练误差达到一个较低的水平，而泛化误差依然较大。
欠拟合是指训练误差和泛化误差都不能达到一个较低的水平。
发生欠拟合的时候在训练集上训练误差不能达到一个比较低的水平，所以过拟合和欠拟合不可能同时发生。
3.关于模型复杂度和数据集大小造成欠拟合和过拟合的描述错误的是：
A.模型复杂度低容易导致欠拟合
B.训练数据集小容易导致过拟合
C.解决欠拟合可以考虑增加模型的复杂度
D.缓解过拟合只能增加训练数据集的大小
答案：D
答案解释
过拟合还可以使用权重衰减和丢弃法来缓解，即使在一个比较小的数据集上使用了权重衰减和丢弃法之后也能够达到一个比较好的效果。
4.关于权重衰减和丢弃法的描述错误的是：
A.L2范数正则化在损失函数的基础上添加了L2范数惩罚项
B.L2范数惩罚项通过惩罚绝对值较大的参数的方法来应对欠拟合的
C.丢弃法通过随机丢弃层间元素，使模型不依赖于某一个元素来应对过拟合的
D.L2范数正则化是权重衰减的一种方式
答案：B
答案解释
L2范数正则化也就是权重衰减是用来应对过拟合的。
五、梯度消失、梯度爆炸
1.关于导致梯度消失和梯度爆炸的描述错误的是：
A.梯度消失会导致模型训练困难，对参数的优化步长过小，收效甚微，模型收敛十分缓慢
B.梯度爆炸会导致模型训练困难，对参数的优化步长过大，难以收敛
C.激活函数使用sigmoid或者tanh可以缓解梯度消失
D.在训练模型时，我们应该采取适当的措施防止梯度消失和梯度爆炸的现象
答案：C
答案解释
在激活函数的选择的地方讲过，在深层网络中尽量避免选择sigmoid和tanh激活函数，原因是这两个激活函数会把元素转换到[0, 1]和[-1, 1]之间，会加剧梯度消失的现象。
2.一个在冬季部署的物品推荐系统在夏季的物品推荐列表中出现了圣诞礼物，我们可以推断该系统没有考虑到：
A.协变量偏移
B.标签偏移
C.概念偏移
D.没有问题
答案：A
答案解释
可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。
3.下列关于模型训练实战步骤排序正确的是：
（1）模型验证和模型调整（调参）
（2）获取数据集
（3）模型设计
（4）模型预测以及提交
（5）数据预处理
A.12345
B.23145
C.25143
D.25314
答案：D
答案解释
正确的顺序应该是：
获取数据集
数据预处理
模型设计
模型验证和模型调整（调参）
模型预测及提交
所以最终选择25314。
4.关于协变量偏移、标签偏移、概念偏移的描述中错误的是：
A.协变量偏移和标签偏移可能同时发生
B.标签偏移可以简单理解为测试时出现了训练时没有的标签
C.确保训练集和测试集中的数据取自同一个数据集，即使训练数据和测试数据数据量很少也可以防止协变量偏移和标签偏移
D.概念偏移可以根据其缓慢变化的特点缓解
答案：C
答案解释
如果数据量足够的情况下，确保训练数据集和测试集中的数据取自同一个数据集，可以防止协变量偏移和标签偏移是正确的。如果数据量很少，少到测试集中存在训练集中未包含的标签，就会发生标签偏移。
六、卷积神经网络基础
选择题
1.假如你用全连接层处理一张256 \times 256256×256的彩色（RGB）图像，输出包含1000个神经元，在使用偏置的情况下，参数数量是：
A.65536001
B.65537000
C.196608001
D.196609000
答案：D
答案解释
图像展平后长度为3×256×256，权重参数和偏置参数的数量是3×256×256×1000+1000=196609000。
2.假如你用全连接层处理一张256×256的彩色（RGB）图像，卷积核的高宽是3×3，输出包含10个通道，在使用偏置的情况下，这个卷积层共有多少个参数：
A.90
B.100
C.280
D.300
答案：C
答案解释
输入通道数是3，输出通道数是10，所以参数数量是10×3×3×3+10=280。
3.conv2d = nn.Conv2d(in_channels=3, out_channels=4, kernel_size=3, padding=2)，输入一张形状为3×100×100的图像，输出的形状为：
A.3×102×102
B.3×100×100
C.4×102×102
D.4×100×100
答案：C
答案解释
输出通道数是4，上下两侧总共填充4行，卷积核高度是3，所以输出的高度是104−3+1=102，宽度同理可得。
4.关于卷积层，以下哪种说法是错误的：
A.1×1卷积可以看作是通道维上的全连接
B.某个二维卷积层用于处理形状为3×100×100的输入，则该卷积层无法处理形状为3×256×256的输入
C.卷积层通过填充、步幅、输入通道数、输出通道数等调节输出的形状
D.两个连续的3×3卷积核的感受野与一个5×5卷积核的感受野相同
答案:B
答案解释
选项1：参考视频23分50秒左右对1×1卷积的介绍
选项2：对于高宽维度，只要输入的高宽（填充后的）大于或等于卷积核的高宽即可进行计算
选项3：正确
选项4：正确
5.关于池化层，以下哪种说法是错误的：
A.池化层不参与反向传播
B.池化层没有模型参数
C.池化层通常会减小特征图的高和宽
D.池化层的输入和输出具有相同的通道数
答案：A
答案解释
选项1：错误，池化层有参与模型的正向计算，同样也会参与反向传播
选项2：正确，池化层直接对窗口内的元素求最大值或平均值，并没有模型参数参与计算
选项3：正确
选项4：正确
七、LeNet
选择题
1.关于LeNet，以下说法中错误的是：
A.LeNet主要分为两个部分：卷积层块和全连接层块
B.LeNet的绝大多数参数集中在卷积层块部分
C.LeNet在连接卷积层块和全连接层块时，需要做一次展平操作
D.LeNet的卷积层块交替使用卷积层和池化层。
答案：B
答案解释
选项1：正确，参考LeNet模型的结构
选项2：错误，LeNet模型中，90%以上的参数集中在全连接层块
选项3：正确，参考LeNet模型的结构
选项4：正确，参考LeNet模型的结构
2.关于卷积神经网络，以下说法中错误的是：
A.因为全连接层的参数数量比卷积层多，所以全连接层可以更好地提取空间信息
B.使用形状为2×2，步幅为2的池化层，会将高和宽都减半
C.卷积神经网络通过使用滑动窗口在输入的不同位置处重复计算，减小参数数量
D.在通过卷积层或池化层后，输出的高和宽可能减小，为了尽可能保留输入的特征，我们可以在减小高宽的同时增加通道数
答案：A
答案解释
选项1：错误，参考视频1分钟左右对全连接层局限性的介绍
选项2：正确，参考LeNet中的池化层
选项3：正确，参考视频1分30左右对卷积层优势的介绍
选项4：正确，参考视频3分钟左右的介绍
八、