xiangduixuexi的博客

首先把new_token_embeddings当陈一个字典，包含5个字，每个字的含义是1024维。然后，**input_flags的 每个位置上的值就是去这个字典中查这个字对应的含义**。input_flags有多少个字呢？8 × 512，所以最终查询的结果是，大声告诉我，8 × 512 × 1024，对！

conda install -c huggingface -c conda-forge datasets

场景：我们对logits判断是否有大于0.5的元素，然后判断返回结果是否为空，如果为空，标记为无标签，否则标记为该元素的索引作为标签。

多个 tensor 合并成一个大tensorif isinstance(inputs, list): inputs = torch.stack(inputs)例如：inputs 是一个list， 其中有几个相同维度的 tensor，那么可以将其使用stack，合并成更高维度的 tensor。

经常听到Pytorch模型中有人讲要固化参数，那么怎么固化参数呢？“固化”就是固定参数，不要改变的意思。那么参数什么时候会发生改变呢，就是在损失函数对参数求导数的时候，然后参数会更新，那么我们只要阻止参数求导，令其在更新时的改变量为0，即固化参数。# freeze all transformer weightsfor param in self.model.parameters(): param.requires_grad = False下面是对有些NLP基础的人说的：一般的用法是把mo

不仅要有从上下载的PyTorch版的预训练模型，**还要有vocab.txt**，你看看你的`pretrained\chinese_L-12_H-768_A-12`文件下面是不是没有vocab.txt！

1. 报错原因我想卸载python，然后报错如下。(ptc) C:\Users\Lion>conda uninstall pythonCollecting package metadata (repodata.json): failed# >>>>>>>>>>>>>>>>>>>>>> ERROR REPORT <<<<<<&l

我们发现有些位置其实并没有字，只是一个”填充“，此时我们需要一个mask(遮罩)，来表示一下哪些位置有词(字)，哪些位置没有词(字)。

我们对一个序列进行拼接，使其变成一个更大的 Tensor，但是呢我们要指定在哪一个维度上进行扩张，在该维度上扩张的数目就是序列的长度。

从CPU版本的PyTorch转到GPU版本失败的一种解决办法。

如果时Python文件中调用了GPU，那么设置：torch.cuda.set_device(-1)，注意-1才代表不使用GPU。

这个小游戏很简单，从1开始，遇到3输出fizz，遇到5输出buzz，遇到15输出fizz_buzz。分别用分段函数和神经网络的方法来实现。

6个步骤了解搭建神经网络的代码。

【softmax + NLLLoss = CrossEntropyLoss】在Pytorch中，CrossEntropyLoss可以直接接到模型结果之后，直接得出交叉熵损失。而NLLLoss需要在模型结果后先接一个Softmax，将模型结果变成概率，再用NLLLoss求预测损失。