参加动手学习pytorch学习课程大卡记录1错误分析

错题分析与反思：
#1第一部分错误和反思汇总
##1.课程中的损失函数定义为：

def squared_loss(y_hat, y):
return (y_hat - y.view(y_hat.size())) ** 2 / 2
将返回结果替换为下面的哪一个会导致会导致模型无法训练：（阅读材料：https://pytorch.org/docs/stable/notes/broadcasting.html）

(y_hat.view(-1) - y) ** 2 / 2

(y_hat - y.view(-1)) ** 2 / 2

(y_hat - y.view(y_hat.shape)) ** 2 / 2

(y_hat - y.view(-1, 1)) ** 2 / 2
答案解释
y_hat的形状是[n, 1]，而y的形状是[n]，两者相减得到的结果的形状是[n, n]，相当于用y_hat的每一个元素分别减去y的所有元素，所以无法得到正确的损失值。对于第一个选项，y_hat.view(-1)的形状是[n]，与y一致，可以相减；对于第二个选项，y.view(-1)的形状仍是[n]，所以没有解决问题；对于第三个选项和第四个选项，y.view(y_hat.shape)和y.view(-1, 1)的形状都是[n, 1]，与y_hat一致，可以相减。以下是一段示例代码：

此题目考察了numpy广播机制 需要了解两个张量原来的维度 并根据广播机制推算。

##2.softmax([100, 101, 102])的结果等于以下的哪一项

softmax([10.0, 10.1, 10.2])

softmax([-100, -101, -102])

softmax([-2 -1, 0])

softmax([1000, 1010, 1020])

此题考察了数值稳定性方面知识，softmax= exp(pi)/sum(exp(pi) for i in 1 to n )
由于exp100=exp(-2)*exp(exp102) 类似推理 可以得答案 这样变换后数值更稳定
##3
一个在冬季部署的物品推荐系统在夏季的物品推荐列表中出现了圣诞礼物，我们可以推断该系统没有考虑到：

协变量偏移

标签偏移

概念偏移

没有问题

此题考察了三个概念 协变量偏移 标签偏移 概念偏移 协变量偏移是x变 标签偏移是y变 概念偏移是y的定义变 ，此题目中变的是x即时间

##4第一部分总结：
###4.1交叉熵损失自己组合了softmax和负对数损失，所以不需要softmax
###4.2觉得协变量偏移 标签偏移 概念偏移是模型失败的原因，比赛也有这样的情况，当x分布在训练和线上有差异时候就发生了协变量偏移，这时就要看分布，挑选可以长时间预测的变量和规律
###4.3pytorch中的gather蛮有用的，在计算交叉熵时候有用

#2第二部分错误和反思汇总
##1错题分析
下列哪一项不是构建Vocab类所必须的步骤：

词频统计，清洗低频词

句子长度统计

构建索引到token的映射

构建token到索引的映射

句子长度和字典无关

##2第二部分总结：

文本和nlp这块比图像难度高，因为没有实际动手做过，所以掌握的很不好。建议老师后面能否出现练习让我们试试。
总结：
###2.1建立词典和清洗数据很重要，分词用jieba分词
###2.2隐藏层状态需要在模型训练前初始化的
###2.3相邻采样比随机采样更有优势，因为上下批量是毗邻的，其中的采样代码需要好好掌握
###2.4不同次数的张量需要拼接成固定维度的

建议与问题
1.注意力老师能否出些练习给我们，nlp没学过，感觉蛮难的。
2.现在就有个项目，句子长度从13到3千的，按照拼接0的试验了效果很差，因为都是0了，有什么办法？ -