安装texthero踩过的坑

最新推荐文章于 2024-05-02 21:10:32 发布

shdxhsq

最新推荐文章于 2024-05-02 21:10:32 发布

阅读量540

点赞数

分类专栏： python学习 issues 文章标签： nlp pandas 自然语言处理机器学习文本处理

本文链接：https://blog.csdn.net/shdxhsq/article/details/119319245

版权

这篇博客记录了安装NLP工具包texthero过程中遇到的警告、nltk和en_core_sm下载失败等问题，提供了详细的解决方法，包括删除特定文件夹、手动下载nltk_data和en_core_sm等。

摘要由CSDN通过智能技术生成

手头有一份以excel存储的文本数据，在用pandas读入后，想要用自然语言处理的一些库进行处理，在查找资料的时候发现了texthero这个库，在做数据清洗，自然语言处理的时候非常方便，因此就想安装下来用一用。下文记录了安装这个库踩过的一些坑。ヾ(•ω•`)o

1 介绍

Texthero 是一个开源的NLP工具包，旨在 Pandas 之上使用单一工具简化所有 NLP 开发人员的任务。它由预处理、向量化、可视化和 NLP 四个模块组成，可以快速地理解、分析和准备文本数据，以完成更复杂的机器学习任务。

👉官网传送门：https://texthero.org/

👉github源码传送门：https://github.com/jbesomi/texthero

👉访问这个网站要注意科学上网

2 安装

截止动笔写此文，目前发布的textthero的版本是1.1.0。官网给出的安装指南是通过pip工具

pip install texthero

可是，你以为这样就结束了吗？too young too naive！/(ㄒoㄒ)/~~ 问题才刚刚开始

3 出现的问题

问题1：发生警告

Ignoring invalid distribution -ip (d:\program files (x86)\python37\lib\site-packages)

解决方法：进入命令行提示的文件夹d:\program files (x86)\python37\lib\site-packages)
删除~ip开头的文件夹即可。这样的文件夹有2个。

~ip
~ip 20.0.2.dist-info

问题2：导入失败-nltk download失败

[nltk_data] Error loading stopwords: <urlopen error [WinError 10054]
[nltk_data]     远程主机强迫关闭了一个现有的连接。>
Traceback (most recent call last):
  File "D:\software\Anaconda3\lib\site-packages\nltk\corpus\util.py", line 83, in __load
    root = nltk.data.find("{}/{}".format(self.subdir, zip_name))
  File "D:\software\Anaconda3\lib\site-packages\nltk\data.py", line 585, in find
    raise LookupError(resource_not_found)
LookupError:
********************************************************************