NLP(自然语言处理)
kilua_5
这个作者很懒,什么都没留下…
展开
-
AttributeError: ‘Tensor‘ object has no attribute ‘_numpy‘
问题描述:在tf2.x环境下,自定义损失函数出错,想查看y_pred和y_true的值,使用K.eval(y_pred),y_pred.numpy()报错:AttributeError: ‘Tensor’ object has no attribute ‘_numpy’解决方法:在model.compile()中将run_eagerly改为True,可以查看,但是运行速度会慢分析原因:run_eagerly参数设置模型是创建动态图还是静态图(默认是静态图,False)Running eager原创 2021-04-29 14:37:22 · 2707 阅读 · 0 评论 -
OSError: Cannot load tokenizer for model.save pretrained
环境:win10+tensorflow2.3+transformers问题:根据教程Fine-tuning in native TensorFlow 2保存本地模型,使用BertTokenizer.from_pretrained读取模型时报错OSError: Cannot load tokenizer for model.save pretrained解决方案:路径中缺少vocab文件,需要从其他的地方粘贴过来,如chinese_L-12_H-768_A-12...原创 2020-12-03 15:42:09 · 5985 阅读 · 4 评论 -
NLP中文本的表示方式
文本表示的方法:BOW(bag of words):BOW可以理解为语料库的去重集合,并对集合内的每个单词做唯一索引。之后就可以用该集合构成的一维向量表示语料库中的句子。假设有两个简单文档:文档一:John likes to watch movies. Mary likes too.文档二: John also likes to watch football games.基于上述15个单词的语料库,构建如下一个字典(或者其他集合形式也行):Vocabulary= {“John”: 1, “l原创 2020-10-16 11:05:26 · 476 阅读 · 0 评论