我们这里以 (320.4 MB) 的 tensorflow_gpu-2.3.0 为例子 ,文末有神转折。
首先
!pip install tensorflow-gpu==2.3.0 -i https://pypi.doubanio.com/simple
安装完成后,基本上 whl 也就在 缓存文件夹里了
本来 按照 这篇 通过 sudo find 就可以找到,但 华为云里 sudo 需要密码,find 的方法就不行了,那还有没有其他方法呢?
还真有。
通过下面 三步可以找回。
一,先卸载 TF2.3
!pip uninstall tensorflow-gpu==2.3.0 --yes
二,再安装
!pip install tensorflow-gpu==2.3.0 -i https://pypi.doubanio.com/simple
显示:
Looking in indexes: https://pypi.doubanio.com/simple
Collecting tensorflow-gpu==2.3.0
Using cached https://pypi.doubanio.com/packages/0f/11/763f55d3d15efd778ef24453f126e6c33635680e5a2bb346da3fab5997cb/tensorflow_gpu-2.3.0-cp36-cp36m-manylinux2010_x86_64.whl (320.4 MB)
Requirement already satisfied: wrapt>=1.11.1 in /home/ma-user/anaconda3/envs/TensorFlow-2.1.0/lib/python3.6/site-packages (from tensorflow-gpu==2.3.0) (1.12.1)
三,把显示的路径 copy下来,
再 执行 wget
!wget https://pypi.doubanio.com/packages/0f/11/763f55d3d15efd778ef24453f126e6c33635680e5a2bb346da3fab5997cb/tensorflow_gpu-2.3.0-cp36-cp36m-manylinux2010_x86_64.whl
这时候,wget 就会直接从离线的缓存处 下载到 和你python脚本的 同路径下,这时候你去刷新路径,就会发现多一个 安装包出来了
下载再次启动 modelarts 的时候,直接在 该路径下 !pip install tensorflow-gpu==2.3.0
就直接是离线安装该大型 whl 包了。
但是,我在执行 !pip install tensorflow-gpu==2.3.0 的时候,发现提示
Looking in indexes: http://repo.myhuaweicloud.com/repository/pypi/simple
Collecting tensorflow-gpu==2.3.0
Downloading http://repo.myhuaweicloud.com/repository/pypi/packages/0f/11/763f55d3d15efd778ef24453f126e6c33635680e5a2bb346da3fab5997cb/tensorflow_gpu-2.3.0-cp36-cp36m-manylinux2010_x86_64.whl (320.4 MB)
|███�████████████████████████▉ | 288.2 MB 25.4 MB/s eta 0:00:02 | 9.8 MB 8.7 MB/s eta 0:00:36 | 11.9 MB 8.7 MB/s eta 0:00:36 | 17.0 MB 8.7 MB/s eta 0:00:3523.8 MB 8.7 MB/s eta 0:00:35 | 42.4 MB 8.7 MB/s eta 0:00:32 | 48.5 MB 8.7 MB/s eta 0:00:32MB/s eta 0:00:31 | 60.6 MB 37.0 MB/s eta 0:00:08 | 73.0 MB 37.0 MB/s eta 0:00:07 | 78.8 MB 37.0 MB/s eta 0:00:070:07
原来 华为云自己有一个 服务器,速度快 40MB 每秒了,
所以,下次想装最新版 的 TF,PYTORCH,等,先
!pip install tensorflow-gpu==2.3.0
不带任何 国内镜像试试
当然,可以按照上面步骤找出来原来的安装包,放到一个文件夹里,执行下面带路径的安装方式,
还是会快一些,毕竟任何下载都比不上离线安装。
!pip install /home/ma-user/work/Traincodes/tensorflow_gpu-2.3.0-cp36-cp36m-manylinux2010_x86_64.whl
上面是文末。
下面是再更:
有时候要下载github上很多预训练模型,发现在modelarts里下载是很快的,12s 就下完了。
但得到下载地址,在 终端下载发现很慢,这样不行,得想个法子。
第三种方法: 点击 连接下载到本地,再上传。(目前是这种)
第一,既然notebook里 12sxia下载完了,那看看 notebook里下载放在哪里了,然后执行 copy。
关键,就是 notebook里下载放在哪里了
第二,寻找 下载 github 预训练模型比较快的方法。