一、环境
1、orin 32G JP5.1.2
2、python版本3.8
3、科学上网
二、遇到问题
1、jetson-containers中执行pip3 install -r requirements.txt显示存在网络问题,无法访问hub.docker.com
修改/etc/docker/daemon.json增加以下几行
"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://dockerproxy.com",
"https://docker.mirrors.ustc.edu.cn",
"https://docker.nju.edu.cn"
]
sudo docker run --runtime nvidia -it --rm --network=host dustynv/text-generation-webui:r35.3.1
或./run.sh $(./autotag text-generation-webui)
程序进行下载相关代码完成之后提示7860端口在提供服务
打开浏览器并访问 .http://<IP_ADDRESS>:7860可以成功访问,但是在网页上无法拉取模型
2、运行./run.sh --workdir=/opt/text-generation-webui $(./autotag text-generation-webui) /bin/bash -c \
'python3 download-model.py --output=/data/models/text-generation-webui TheBloke/Llama-2-7b-Chat-GPTQ'
之后提示没有安装一些环境,环境安装好了之后提示网络问题(网页可以访问hugging网站,但是无法ping通)
HTTPSConnectionPool(host='huggingface.co', port=443)
请问以下如何解决?
尝试增加环境变量export HF_ENDPOINT=hf-mirror.com
以及更换镜像网站均无法使用hf-mirror.com/
以及修改DNS均不行(可以解析出ip)