问题描述
再用自己的数据集对Bert进行增量训练时,使用run_mlm.py脚本时产生的错误(send_example_telemetry无法导入,大概是这个),老版本使用的是run_language_modeling.py
具体增量脚本链接如下
问题原因阐述
我的transformers
是使用pip install transformers
进行安装的,此方法安装使用的是stable的transformers,版本并不是最新版,而在run_mlm.py这个脚本是在github上的main分支下,为最新款的transformers,所以问题就是出在版本不一致上,导致无法引用,因此要卸载老版本,装新版本
解决方法
先卸载原始的版本,命令:pip uninstall transformers
安装方法一(源安装)
pip install git+https://github.com/huggingface/transformers
此命令安装最新版本main而不是最新stable版本。该main版本对于及时了解最新发展非常有用。例如,如果自上次正式发布以来已修复错误,但尚未推出新版本。但是,这意味着main版本可能并不总是稳定的。我们努力保持main版本正常运行,大多数问题通常会在几小时或一天内得到解决。如果您遇到问题,请打开一个问题,以便我们更快地解决它!
通过运行以下命令检查🤗 Transformers 是否已正确安装:
python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('I love you'))"
安装方法二(可编辑安装)
如果您愿意,您将需要一个可编辑的安装:
使用main源代码的版本。
为🤗 Transformers 做贡献,需要测试代码中的更改。
克隆存储库并使用以下命令安装🤗 Transformers:
git clone https://github.com/huggingface/transformers.git
cd transformers
pip install -e .
这些命令将链接您将存储库克隆到的文件夹和您的 Python 库路径。除了正常的库路径之外,Python 现在将查看您克隆到的文件夹。例如,如果您的 Python 包通常安装在 中~/anaconda3/envs/main/lib/python3.7/site-packages/,Python 也会搜索您克隆到的文件夹:~/transformers/.
transformers如果您想继续使用该库,则必须保留该文件夹。
现在,您可以使用以下命令轻松地将您的克隆更新到最新版本的🤗 Transformers:
cd ~/transformers/
git pull
您的 Python 环境将main在下次运行时找到 🤗 Transformers 的版本。