Jetson ORIN部署NVIDIA Jetson Generative AI Lab问题

一、环境

1、orin 32G JP5.1.2

2、python版本3.8

3、科学上网

二、遇到问题

1、jetson-containers中执行pip3 install -r requirements.txt显示存在网络问题,无法访问hub.docker.com

修改/etc/docker/daemon.json增加以下几行

"registry-mirrors": [
        "https://docker.m.daocloud.io",
        "https://dockerproxy.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://docker.nju.edu.cn"
    ]

sudo docker run --runtime nvidia -it --rm --network=host dustynv/text-generation-webui:r35.3.1

或./run.sh $(./autotag text-generation-webui)

程序进行下载相关代码完成之后提示7860端口在提供服务

打开浏览器并访问 .http://<IP_ADDRESS>:7860可以成功访问,但是在网页上无法拉取模型

2、运行./run.sh --workdir=/opt/text-generation-webui $(./autotag text-generation-webui) /bin/bash -c \
  'python3 download-model.py --output=/data/models/text-generation-webui TheBloke/Llama-2-7b-Chat-GPTQ'

之后提示没有安装一些环境,环境安装好了之后提示网络问题(网页可以访问hugging网站,但是无法ping通)

HTTPSConnectionPool(host='huggingface.co', port=443)

请问以下如何解决?

尝试增加环境变量export HF_ENDPOINT=hf-mirror.com

以及更换镜像网站均无法使用hf-mirror.com/

以及修改DNS均不行(可以解析出ip)

  • 6
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值