自然语言处理
鹰立如睡
社会会以相同程度的你对自己的尊重,给予它对你的尊重。
展开
-
UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xa0‘ in position 302: illegal multibyte seq
写csv文件时报错,如下:UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 302: illegal multibyte sequence改为:加编码限制:encoding = "utf-8"with open("C:\\Users\\xxx\\Desktop\\newdata.csv",'w',encoding = "utf-8",newline='') as file: writer =原创 2021-12-10 13:36:41 · 444 阅读 · 0 评论 -
如何查看bert等模型的梯度,用pytorch
print("=============更新之前===========")temp = 0 #控制打印的参数个数for name, parms in model.named_parameters(): temp += 1 if temp == 2: break print('-->name:', name) print('-->para:', parms) print('-->grad_requirs:', parms.requ.原创 2021-10-31 11:00:18 · 658 阅读 · 0 评论 -
latex 参考文献编译步骤
在reference.bib中加入参考文献,保存 在reference.bib位置打开cmd:bibtex XX.aux 回到latex,编译.bib文件 在latex编译.tex文件ok,大功告成!注意事项:bib引用一定要符合格式,否则引用处也是一个问号。有一次,我就在引用的最后一行忘加逗号,就出现一个问号显示不出来文献。...原创 2021-08-25 20:55:03 · 1046 阅读 · 0 评论 -
tokenizer.batch_encode_plus
注释是输出tokenizer = BertTokenizer.from_pretrained('C:\\Users\\lgy\\Desktop\\fsdownload\\bert-base-uncased')print(tokenizer.mask_token) # [MASK]print(tokenizer.convert_tokens_to_ids('a')) # 1037print(tokenizer.convert_ids_to_tokens(1037)) # astring = "原创 2021-08-18 13:31:50 · 9463 阅读 · 0 评论 -
cannot import name ‘glue_compute_metrics‘
环境:python 3.7torch 1.1.0transformers 3.1总是报导入错误。解决办法:装transformers之前没有装sklearnpip uninstall transformerspip install sklearnpip install transformers这样安装的transformers是3.2版本的。就可以了。...原创 2020-09-24 20:03:48 · 819 阅读 · 0 评论