Bert增量训练中,使用run_mlm.py脚本时产生的错误(send_example_telemetry无法导入)

问题描述

再用自己的数据集对Bert进行增量训练时,使用run_mlm.py脚本时产生的错误(send_example_telemetry无法导入,大概是这个),老版本使用的是run_language_modeling.py 具体增量脚本链接如下

问题原因阐述

我的transformers是使用pip install transformers进行安装的,此方法安装使用的是stable的transformers,版本并不是最新版,而在run_mlm.py这个脚本是在github上的main分支下,为最新款的transformers,所以问题就是出在版本不一致上,导致无法引用,因此要卸载老版本,装新版本

解决方法

先卸载原始的版本,命令:pip uninstall transformers

安装方法一(源安装)

pip install git+https://github.com/huggingface/transformers
此命令安装最新版本main而不是最新stable版本。该main版本对于及时了解最新发展非常有用。例如,如果自上次正式发布以来已修复错误,但尚未推出新版本。但是,这意味着main版本可能并不总是稳定的。我们努力保持main版本正常运行,大多数问题通常会在几小时或一天内得到解决。如果您遇到问题,请打开一个问题,以便我们更快地解决它!
通过运行以下命令检查🤗 Transformers 是否已正确安装:
python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I love you'))"

安装方法二(可编辑安装)

如果您愿意,您将需要一个可编辑的安装:
使用main源代码的版本。
为🤗 Transformers 做贡献,需要测试代码中的更改。
克隆存储库并使用以下命令安装🤗 Transformers:

git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e .

这些命令将链接您将存储库克隆到的文件夹和您的 Python 库路径。除了正常的库路径之外,Python 现在将查看您克隆到的文件夹。例如,如果您的 Python 包通常安装在 中~/anaconda3/envs/main/lib/python3.7/site-packages/,Python 也会搜索您克隆到的文件夹:~/transformers/.
transformers如果您想继续使用该库,则必须保留该文件夹。
现在,您可以使用以下命令轻松地将您的克隆更新到最新版本的🤗 Transformers:

cd ~/transformers/
git pull

您的 Python 环境将main在下次运行时找到 🤗 Transformers 的版本。

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值