自然语言处理
WBwhiteBeard
认真
展开
-
pytorch中index_select()函数的理解
a = torch.linspace(1, 12, steps=12).view(3, 4)print(a)b = torch.index_select(a, 0, torch.tensor([0, 2]))print(b)print(a.index_select(0, torch.tensor([0, 2])))c = torch.index_select(a, 1, torch.tensor([1, 3]))print(c)应用转载 2021-06-07 13:04:32 · 215 阅读 · 0 评论 -
OSError: Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch
Transformers加载BERT出错。错误:Exception has occurred: OSError Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.解决办法:把C:\Users\Administrator\.cache\huggingface\transfor原创 2021-02-23 11:21:10 · 8983 阅读 · 3 评论 -
ModuleNotFoundError: No module named ‘importlib_metadata‘
出现错误:ModuleNotFoundError: No module named 'importlib_metadata'解决办法:安装最新版本的 “importlib_metadata”。我是用的conda install -c anaconda importlib-metadata。问题就解决了。原创 2021-02-22 14:47:32 · 6517 阅读 · 1 评论 -
国内HuggingFace,预训练模型镜像使用
Hugging Face Transformers是自然语言处理领域的重要开源项目,提供了基于通用架构(如 BERT,GPT-2,RoBERTa)的数千个预训练模型,并提供了 PyTorch 和 TensorFlow 的良好互操作性。我们镜像了 Hugging Face Model Hub,为国内用户下载预训练模型数据提供便利。使用方法注意:transformers > 3.1.0的版本支持下面的mirror选项。只需在from_pretrained函数调用中添加m...原创 2020-11-23 17:51:56 · 14252 阅读 · 2 评论 -
bert模型中的[CLS]、[UNK]、[SEP]
BERT 的输入可以包含一个句子对 (句子 A 和句子 B),也可以是单个句子。此外还增加了一些有特殊作用的标志位:[CLS] 标志放在第一个句子的首位,经过 BERT 得到的的表征向量 C 可以用于后续的分类任务。 [SEP] 标志用于分开两个输入句子,例如输入句子 A 和 B,要在句子 A,B 后面增加 [SEP] 标志。 [UNK]标志指的是未知字符 [MASK] 标志用于遮盖句子中的一些单词,将单词用 [MASK] 遮盖之后,再利用 BERT 输出的 [MASK] 向量预测单词是什么。原创 2020-10-27 16:16:06 · 4102 阅读 · 1 评论 -
对于Baseline vs Benchmark的理解
#感觉这篇解释的比较通俗易懂,所以转载一下。Baseline vs BenchmarkBenchmark和Baseline的区别在于Benchmark是把一家公司的表现和行业内的最佳实践做对比,Baseline则是在任何项目开始之前设置一个框架,作为项目实施的基准。两种技术都是业绩测量工具。本文简要分析两种概念,Benchmark和Baseline。什么是Benchmark?...原创 2019-11-05 16:24:45 · 1531 阅读 · 0 评论