stanfordnlp使用报错“index_select(): Expected dtype int32 or int64 for index”解决方法

__请输入你的昵称__

已于 2022-05-21 13:13:09 修改

阅读量3.7k

点赞数 7

分类专栏：杂记文章标签： pytorch 深度学习自然语言处理

于 2022-05-21 13:02:29 首次发布

本文链接：https://blog.csdn.net/adrenalinmyvein/article/details/124896877

版权

在Windows环境下，使用pytorch的CPU版本运行stanfordnlp时出现特定错误。报错源于beam.py文件中某行代码在pytorch 1.8.1版本中产生了float32类型的结果，而应该为int64。解决方案是对该行代码进行修改，将计算结果强制转换为int64。官方推荐使用新工具Stanza作为替代。

摘要由CSDN通过智能技术生成

注：

标题所述报错信息为Windows+pytorch (cpu)所得

RuntimeError: index_select(): Expected dtype int32 or int64 for index

Ubuntu+pytorch (cuda)中对应报错信息为

RuntimeError: "index_select_out_cuda_impl" not implemented for 'Float'

安装stanfordnlp + 调用：

pip install stanfordnlp

import stanfordnlp
stanfordnlp.download('en')

nlp = stanfordnlp.Pipeline()
doc = nlp("Barack Obama was born in Hawaii.  He was elected president in 2008.")
doc.sentences[0].print_dependencies()

环境 Windows + pytorch(cpu)为例：

Requirement already satisfied: stanfordnlp in c:\users\w\anaconda3\lib\site-packages (0.2.0)
Requirement already satisfied: torch>=1.0.0 in c:\users\w\anaconda3\lib\site-packages (from stanfordnlp) (1.8.1)

报错 Windows + pytorch(cpu)：

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-3-37d12e848fc7> in <module>
      1 get_ipython().run_line_magic('pdb', 'on')
----> 2 doc = nlp("Barack Oba