- 博客(8)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 关于Pytorch中detach
1 首先没有detach的情况定义了一系列操作，如下，中间结点y1和y2没有梯度。没有采取detach。import torchw1 = torch.tensor([2.], requires_grad=True)# print(w1.type()) # torch.FloatTensorw2 = torch.tensor([4.], requires_grad=True)w3 = torch.tensor([6.], requires_grad=True)w4 = torch.te
2020-05-31 12:44:23
3782
1
转载 Pytorch | 自动求导机制下tensor的各个属性
fromhttps://www.jianshu.com/p/96a687ecbac4 grad 该属性值默认为None，在第一次调用backward()方法后，该值会附上一个数值，并且grad属性值会在之后的每次调用backward()方法时进行累计，这就是为什么我们在训练网络时，每次迭代计算backward()之前需要进行zero_grad的操作的原因。 requires_grad 若当前tensor需要被计算梯度，则该属性值需要为True，否则该属性值为False。但是需要注意的是.
2020-05-31 10:36:06
637
1
原创 tensorflow 制作mask lm数据
采用一种简单的方式，截取每个样本前512个字符。随机mask一些词，其中80%被mask掉的词使用特殊符号代替，如[MASK]，10%使用随机词替代，10%使用原本的词替代。参考transformers开源代码，如下：def mask_tokens(self, inputs: torch.Tensor) -> Tuple[torch.Tensor, torch.Tensor]: labels = inputs.clone() # We sample a few tokens in
2020-05-29 10:11:37
1536
原创 tensorflow 2.x 修改tensor中某些元素
tf中直接使用下标赋值会报错误TypeError: 'tensorflow.python.framework.ops.EagerTensor' object does not support item assignment修改tensor方法1fromhttps://blog.csdn.net/Strive_For_Future/article/details/82426015主要思想:假设tensor为4行5列，要修改位置为(2,3)，将该位置元素修改为A。方法：生成一个矩阵，该矩阵.
2020-05-28 11:43:37
6809
1
原创 tf.keras.losses.sparse_categorical_crossentropy和tf.keras.losses.SparseCategoricalCrossentropy
1 tf.keras.losses.sparse_categorical_crossentropy是一个函数。返回每个样本的损失。等价于:tf.keras.backend.sparse_categorical_crossentropy2 tf.keras.losses.SparseCategoricalCrossentropy是一个类。可以返回每个样本的损失，可以返回所有样本的累加损失，可以返回样本的平均损失。参数 reduction:reduction=tf.ke.
2020-05-25 20:53:42
4307
原创 Fields with a default value must come after any fields without a default.
排错Fields with a default value must come after any fields without a default.原始程序:@dataclassclass DataTrainingArguments: """ Arguments pertaining to what data we are going to input our model for training and eval. """ data_dir: str = .
2020-05-23 09:51:28
858
原创 Transformers 之Glossary(术语)
https://huggingface.co/transformers/glossary.html1Input IDs模型的输入，为序列经过tokenize之后的数字表示。推荐使用encode 或encode_plus方法。这两个方法会自动加上[CLS]、[SEP]等标记。The input ids are often the only required parameters to be passed to the model as input.They are token indices,..
2020-05-12 10:09:34
1047
原创 transformers学习1 quickstart
https://github.com/huggingface/transformers1BERT exampleBertTokenizer.from_pretrained:Instantiate a :class:`~transformers.PreTrainedTokenizer` (or a derived class) from a predefined tokenizer.实例化一个tokenizer。tokenizer.tokenize(text)：Converts a stri.
2020-05-12 09:05:56
413
Capsule.h5
2019-05-14
java调试问题，可以运行，但是不能调试
2017-12-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人