在modelarts上离线安装一些大的whl安装包(下载keras github预训练模型)

我们这里以 (320.4 MB) 的 tensorflow_gpu-2.3.0 为例子 ,文末有神转折。

首先

!pip install tensorflow-gpu==2.3.0 -i https://pypi.doubanio.com/simple

安装完成后,基本上 whl 也就在 缓存文件夹里了 

本来 按照 这篇 通过 sudo find 就可以找到,但 华为云里 sudo 需要密码,find 的方法就不行了,那还有没有其他方法呢?

还真有。

通过下面 三步可以找回。

一,先卸载 TF2.3

!pip uninstall tensorflow-gpu==2.3.0 --yes

二,再安装

!pip install tensorflow-gpu==2.3.0 -i https://pypi.doubanio.com/simple

显示:

Looking in indexes: https://pypi.doubanio.com/simple
Collecting tensorflow-gpu==2.3.0
  Using cached https://pypi.doubanio.com/packages/0f/11/763f55d3d15efd778ef24453f126e6c33635680e5a2bb346da3fab5997cb/tensorflow_gpu-2.3.0-cp36-cp36m-manylinux2010_x86_64.whl (320.4 MB)
Requirement already satisfied: wrapt>=1.11.1 in /home/ma-user/anaconda3/envs/TensorFlow-2.1.0/lib/python3.6/site-packages (from tensorflow-gpu==2.3.0) (1.12.1)

 

三,把显示的路径 copy下来,

再 执行 wget

!wget https://pypi.doubanio.com/packages/0f/11/763f55d3d15efd778ef24453f126e6c33635680e5a2bb346da3fab5997cb/tensorflow_gpu-2.3.0-cp36-cp36m-manylinux2010_x86_64.whl 

 

这时候,wget 就会直接从离线的缓存处 下载到 和你python脚本的 同路径下,这时候你去刷新路径,就会发现多一个 安装包出来了

 

下载再次启动 modelarts 的时候,直接在 该路径下 !pip install tensorflow-gpu==2.3.0

 就直接是离线安装该大型 whl  包了。

 

但是,我在执行  !pip install tensorflow-gpu==2.3.0 的时候,发现提示

Looking in indexes: http://repo.myhuaweicloud.com/repository/pypi/simple
Collecting tensorflow-gpu==2.3.0
  Downloading http://repo.myhuaweicloud.com/repository/pypi/packages/0f/11/763f55d3d15efd778ef24453f126e6c33635680e5a2bb346da3fab5997cb/tensorflow_gpu-2.3.0-cp36-cp36m-manylinux2010_x86_64.whl (320.4 MB)
   |███�████████████████████████▉   | 288.2 MB 25.4 MB/s eta 0:00:02            | 9.8 MB 8.7 MB/s eta 0:00:36                      | 11.9 MB 8.7 MB/s eta 0:00:36 | 17.0 MB 8.7 MB/s eta 0:00:3523.8 MB 8.7 MB/s eta 0:00:35                    | 42.4 MB 8.7 MB/s eta 0:00:32                    | 48.5 MB 8.7 MB/s eta 0:00:32MB/s eta 0:00:31         | 60.6 MB 37.0 MB/s eta 0:00:08                | 73.0 MB 37.0 MB/s eta 0:00:07                | 78.8 MB 37.0 MB/s eta 0:00:070:07 

原来 华为云自己有一个 服务器,速度快 40MB 每秒了,

所以,下次想装最新版 的 TF,PYTORCH,等,先

!pip install tensorflow-gpu==2.3.0 

不带任何 国内镜像试试

 

当然,可以按照上面步骤找出来原来的安装包,放到一个文件夹里,执行下面带路径的安装方式,

还是会快一些,毕竟任何下载都比不上离线安装。

!pip install /home/ma-user/work/Traincodes/tensorflow_gpu-2.3.0-cp36-cp36m-manylinux2010_x86_64.whl

 

上面是文末。

 

下面是再更:

有时候要下载github上很多预训练模型,发现在modelarts里下载是很快的,12s 就下完了。

但得到下载地址,在 终端下载发现很慢,这样不行,得想个法子。

 

第三种方法: 点击 连接下载到本地,再上传。(目前是这种)

第一,既然notebook里 12sxia下载完了,那看看 notebook里下载放在哪里了,然后执行 copy。

关键,就是 notebook里下载放在哪里了

 

第二,寻找 下载 github 预训练模型比较快的方法。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事如yan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值