【实验】主题建模工具BERTopic的安装及使用过程中的报错解决方案

最新推荐文章于 2024-07-15 07:17:47 发布

沐兮Krystal

最新推荐文章于 2024-07-15 07:17:47 发布

阅读量2.6k

点赞数

分类专栏： NLP 文章标签： python 开发语言

本文链接：https://blog.csdn.net/GW_Krystal/article/details/127352056

版权

NLP 专栏收录该内容

27 篇文章 16 订阅

订阅专栏

代码网址：https://github.com/MaartenGr/BERTopic

安装BERTopic Package

在本地Pycharm新建一个项目，安装bertopic包的时候出现报错，找不到对应的version
尝试手动安装。
首先查看python对应可以安装的whl文件格式：

pip debug --verbose

在这里插入图片描述
之后再官网上搜索对应的包：https://pypi.org/

点击进入下载：点击下载.tar.gz文件然后解压和.whl文件；将这两个文件放在python/Lib/site-packages下。

注意.whl文件需要修改名字，下载得到的名字不是标准名字，需要修改py2.py3为py3，其他的包的.whl文件也需要修改成最相近的python对应可以安装的whl文件格式。
还有一些依赖包还没有安装完：
先切到目录：E:\下载项\python\Lib\site-packages下，之后运行

pip install bertopic-0.12.0-py3-none-any.whl

按照提示安装依赖包，只有压缩包的要找到想要的whl才能安装成功。
也可以采用tar.gz包安装：

tar -xzvf XXX.tar.gz
cd XXX
python setup.py install

在这里插入图片描述

准备数据

在这里插入图片描述

3种选择：1.使用colab的gpu来做；2.在matpool上租用机器重新安装配置环境；3.在本地完成。

报错1：

FileNotFoundError: [WinError 3] 系统找不到指定的路径。: ‘C:\Users\pangu/.cache\torch\sentence_transformers\sbert.net_models_all-MiniLM-L6-v2’
在这里插入图片描述
原因：可能是之前安装sentence-transformers时的依赖没有处理好，并没有完全安装好
解决方案：重新在pypi下载最新版本的sentence-transformers的压缩包，cd进入目录，通过python setup.py install进行安装，并注意看报错信息（不是红色的，提示有error），依次处理好就可以了

报错2：

requests.exceptions.SSLError: HTTPSConnectionPool(host=‘huggingface.co’, port=443): Max retries exceeded with url: /api/models/sentence-transformers/all-MiniLM-L6-v2 (Caused by SSLError(SSLEOFError(8, ‘EOF occurred in violation of protocol (_ssl.c:1123)’)))
在这里插入图片描述
解决方案：尝试把VPN关了之后再运行。