第二次打卡 错题总结

1.一个在冬季部署的物品推荐系统在夏季的物品推荐列表中出现了圣诞礼物，我们可以推断该系统没有考虑到：

协变量偏移

标签偏移

概念偏移

没有问题

答案：协变量偏移

解释：统计学家称这种协变量变化是因为问题的根源在于特征分布的变化（即协变量的变化）。数学上，我们可以说P（x）改变了，但P（y∣x）保持不变。尽管它的有用性并不局限于此，当我们认为x导致y时，协变量移位通常是正确的假设。
可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。

2.关于协变量偏移、标签偏移、概念偏移的描述中错误的是：

协变量偏移和标签偏移可能同时发生

标签偏移可以简单理解为测试时出现了训练时没有的标签

确保训练集和测试集中的数据取自同一个数据集，即使训练数据和测试数据数据量很少也可以防止协变量偏移和标签偏移

概念偏移可以根据其缓慢变化的特点缓解

答案：确保训练集和测试集中的数据取自同一个数据集，即使训练数据和测试数据数据量很少也可以防止协变量偏移和标签偏移

解释：如果数据量足够的情况下，确保训练数据集和测试集中的数据取自同一个数据集，可以防止协变量偏移和标签偏移是正确的。如果数据量很少，少到测试集中存在训练集中未包含的标签，就会发生标签偏移。

3.不属于数据预处理工作的是？

得到数据生成器

建立词典

分词

把单词转化为词向量

答案：把单词转化为词向量
解释：单词转化为词向量是模型结构的一部分，词向量层一般作为网络的第一层。所以不属于数据预处理

4.关于集束搜索(Beam Search)说法错误的是

集束搜索结合了greedy search和维特比算法。

集束搜索使用beam size参数来限制在每一步保留下来的可能性词的数量。

集束搜索是一种贪心算法。

集束搜索得到的是全局最优解。

答案：集束搜索得到的是全局最优解。

解释：集束搜索是贪心算法，贪心算法得到的是局部最优解，不是全局最优解

5.以下对于注意力机制叙述错误的是：

注意力机制借鉴了人类的注意力思维方式，以获得需要重点关注的目标区域。

在计算注意力权重时，key 和 query 对应的向量维度需相等。

点积注意力层不引入新的模型参数。

注意力掩码可以用来解决一组变长序列的编码问题。

答案：在计算注意力权重时，key 和 query 对应的向量维度需相等。
解释：在Dot-product Attention中，key与query维度需要一致，在MLP Attention中则不需要。概念错误。

6.下列对于层归一化叙述错误的是：

层归一化有利于加快收敛，减少训练时间成本

层归一化对一个中间层的所有神经元进行归一化

层归一化对每个神经元的输入数据以mini-batch为单位进行汇总

层归一化的效果不会受到batch大小的影响

答案：层归一化对每个神经元的输入数据以mini-batch为单位进行汇总

解释：批归一化（Batch Normalization）才是对每个神经元的输入数据以mini-batch为单位进行汇总

7.假如你用全连接层处理一张256×256256 \times 256256×256的彩色（RGB）图像，输出包含1000个神经元，在使用偏置的情况下，参数数量是：

65536001

65537000

196608001

196609000

答案：图像展平后长度为3×256×256，权重参数和偏置参数的数量是3×256×256×1000+1000=196609000

8.假如你用全连接层处理一张256×256256 \times 256256×256的彩色（RGB）图像，卷积核的高宽是3×3，输出包含10个通道，在使用偏置的情况下，这个卷积层共有多少个参数：

90

100

280

300

答案：输入通道数是3，输出通道数是10，所以参数数量是10×3×3×3+10=280