TextAttack系列一:框架环境准备与问题解决
- TextAttack官方网站
- 1. 安装Textattack库
- 友情提示
- 2. 测试安装第一步
- 3. 测试安装第二步
- 4. 遇到的问题
- 4.1 W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not found
- 4.2 ValueError: check_hostname requires server_hostname
- 4.3 ConnectionError: Couldn't reach https://raw.githubusercontent.com/huggingface/datasets/1.10.2/datasets/yelp_polarity/yelp_polarity.py
- 4.4 requests.exceptions.ReadTimeout: HTTPSConnectionPool
TextAttack官方网站
1. 安装Textattack库
若不需要GPU,直接安装最新版本即可
pip install textattack
#需要注意:
1.1 若要使用GPU,先去查看自己的CUDA版本
nvcc -V
1.2 查看对应的tensorflow版本并安装
tensorflow——gpu
pip install -U tensorflow_gpu==2.3.0
1.3 安装合适的TextAttack版本
pip install textattack==0.2.17
1.4 安装tensorflow_text
pip install tensorflow_text
友情提示
按博主的textattack以及tensorflow版本安装的时候,python版本选择3.7不会报错,其他可能不太对应!
合格版本:
python = 3.7
textattck = 0.2.17
tensorflow_gpu = 2.3.0
————————————————————————其他都是自带所选依赖
2. 测试安装第一步
查看帮助
textattack --help
textattack attack --help
3. 测试安装第二步
随机选一个项目进行测试(下面两步分别进行)
1.textattack peek-dataset --dataset-from-huggingface snli
2.textattack train --model-name-or-path distilbert-base-cased --dataset snli --model-num-labels 3 --filter-train-by-labels 0 1 2 --filter-eval-by-labels 0 1 2 --model-max-length 128 --per-device-train-batch-size 128 --num-epochs 2
或者是下面(任选其一):
1. textattack attack --recipe textfooler --model bert-base-uncased-mr --num-examples 100
2. textattack attack --model distilbert-base-uncased-cola --recipe deepwordbug --num-examples 100
3. textattack train --model-name-or-path lstm --dataset yelp_polarity --epochs 50 --learning-rate 1e-5
4. 遇到的问题
4.1 W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library ‘cudart64_110.dll’; dlerror: cudart64_110.dll not found
问题:没有安装合适的gpu版本
解决:查看合适的gpu版本并安装
4.2 ValueError: check_hostname requires server_hostname
问题:不支持代理运行
解决:关闭代理即可
4.3 ConnectionError: Couldn’t reach https://raw.githubusercontent.com/huggingface/datasets/1.10.2/datasets/yelp_polarity/yelp_polarity.py
问题:诸如此类的,如:无法连接、找不到、无法下载https://raw.githubusercontent.com相关的,需要重新设置host
解决:找到本机的C:\Windows\System32\drivers\etc\host
,用管理员身份打开,加入下面一行:
199.232.96.133 raw.githubusercontent.com
或者通过下面网址查看最新ip:
raw.githubusercontent.com代理ip查询
4.4 requests.exceptions.ReadTimeout: HTTPSConnectionPool
问题:请求超时等,若按照4.3的方法无法解决,则重设HTTPS_PROXY
解决:set HTTPS_PROXY='http:127.0.0.1:1080'