在centos8.5上迁移深度学习环境的时候碰到的一下问题(需要运维人员解决的)

我负责的是将开发服务器上的深度学习环境进行打包并将该环境迁移到生产服务器上,这些操作可以在其他博客中搜到
本文主要介绍我把环境包上传至生产服务器中的anaconda/envs/路径下,解压之后,运行测试代码时遇到的问题

IT部门是如何处理的?

他们应该是配置yum源为iso镜像,在安装下面这些包的时候直接从iso文件中直接找了

具体的操作可参考:
断网也不怕,Centos配置本地yum源为ISO镜像
Linux yum命令(详解)
虚拟机修改yum源为本地iso光盘文件

出现这些问题或者说缺下面这些包的原因:

①IT运维人员在安装系统的时候选择了最小安装,有些包没有安装上,结果我那一个一个离线安装啊,那依赖多如牛毛,下文的5个包的安装是我在离线安装这些包的时候一些解决方法
②还有一个原因项目所需的包所依赖的底层包要求较新,所以需要IT部门安装高版本的操作系统,而公司服务器较老,他们在装的时候也遇到了比较多的困难,装系统的时候也更换了多个系列的版本,如rocky9.2、redhat7.6,ubuntu20.04、22.04,最终选择了centos8.5,这个操作系统选择了最小安装。

再说一下为什么选择centos8.5:

因为该版本对应的glibc版本满足项目需求,在这之前的操作系统上的版本不满足或在老机器上安不上

重点:centos离线环境下我们只安装libx11、gcc、libGL、tar、make,下文只关注这5个包的安装,其他包不是重点!!!

RPM软件管理程序:rpm:https://blog.csdn.net/qq_52089863/article/details/130974900(可查看rpm命令参数)
RPM包管理常用命令:https://blog.csdn.net/u013539566/article/details/126753977
一个安装rpm包的地址:https://pkgs.org/
清华大学软件镜像网站(也可下载rpm包,安装tar、make等程序):https://mirrors.tuna.tsinghua.edu.cn/centos-vault/7.8.2003/os/x86_64/Packages/

linux服务器conda环境打包和移植:https://blog.csdn.net/cxf26026/article/details/134200847
Anaconda创建虚拟环境及离线迁移:https://blog.csdn.net/misterrenwoxing/article/details/128972443

1、安装GLIBC_2.18:

/lib64/libc.so.6: version GLIBC_2.18 not found (required by /lib64/libstdc++.so.6):https://blog.csdn.net/fdbright/article/details/131467605
补充上面:
OSError: /lib64/libc.so.6: version GLIBC_2.18 not found处理记录:https://blog.csdn.net/weixin_42262128/article/details/136515490

2、安装libX11:

安装libX11过程记录:https://blog.csdn.net/liji_digital/article/details/133756815(里面含安装libX11时需要安装的9个依赖所在地址)
交叉编译libX11:https://blog.csdn.net/qq_41340733/article/details/116641262
libX11下载地址:https://www.x.org/releases/individual/lib/

3、安装gcc:

为什么要装gcc?看下图:
在这里插入图片描述
我的报错的图片找不到了,网上找到一个一样的图,上图来自:These critical programs are missing or too old: compiler

linux离线手动安装升级gcc:https://blog.csdn.net/in_177/article/details/131931962
Linux中离线安装gcc:https://blog.csdn.net/a1035082174/article/details/88862806
gcc官网:http://gcc.gnu.org/
gcc镜像站点:https://gcc.gnu.org/mirrors.html
各版本下载地址:ftp://ftp.mirrorservice.org/sites/sourceware.org/pub/gcc/releases/gcc-4.7.2/
glibc官网:ftp://ftp.gnu.org/gnu/glibc/

4、安装libGL:

Linux系统 ImportError: libGL.so.1: cannot open shared object file: No such file or directory:https://blog.csdn.net/luobowangjing/article/details/134541973
libGL.so.1: cannot open shared object file: No such file or directory:https://blog.csdn.net/weixin_31866177/article/details/133986536
linux系统 ImportError: libX11. so. 6: cannot open shared object file: No such file or directory等问题:https://blog.csdn.net/EstrangedZ/article/details/134574055

5、安装bison

在这里插入图片描述
我的报错的图片找不到了,网上找到一个一样的图,上图来自:linux系统安装bison,解决 These critical programs are missing or too old: bison compiler

6、安装make

6.1 安装make

rpm: Header V3 RSA/SHA256 Signature, key ID f4a80eb5: NOKEY:https://blog.csdn.net/zlfing/article/details/110004945

6.2 升级make

升级make到4.2
也可以使用离线升级,即先手动下载所需要的安装包,替换下面的第一条命令

wget http://ftp.gnu.org/gnu/make/make-4.2.tar.gz
tar -xzvf make-4.2.tar.gz
cd make-4.2
sudo ./configure
sudo make
sudo make install
sudo rm -rf /usr/bin/make
sudo cp ./make /usr/bin/
make -v

7、安装tar

【centos8 离线安装tar】centos8.0 离线安装tar包:https://blog.csdn.net/u013421629/article/details/137006079(下面命令可行)

rpm -Uvh  tar-1.26-35.el7.x86_64.rpm --nodeps --force

8、./configure –prefix 命令用法

https://blog.csdn.net/tscaxx/article/details/132142745

9、离线python的一些包

如要安装:poetry-core==1.4.0
https://pypi.org/project/poetry-core/1.4.0/#files
下载文件,然后:

pip install poetry-core==1.4.0

其他包也类似,如setuptools,torch-geometric 2.0.4,rdflib 6.3.1,plyfile 1.0.2,pytest-runner 6.0.1,typing-extensions 4.1.1
typing-extensions的安装有两种方法:分python版本是3.7及以下和3.7以上,3.7及以下应该是离线安,3.7以上在线安装,具体请查网站或者在https://pypi.org/search/?q=typing-extensions&o=查一下看看对这个包的解释

10、安装torch_geometric

torch_geometric的官网:https://pytorch-geometric.readthedocs.io/en/stable/install/installation.html(不用于下载包,只是查看这个包的信息,下载包区下面的网址)(没啥用,只能说看看如何在线安装这个包以及每个版本支持什么python版本范围)

安装torch-geometric的话需要安装4个依赖:
torch-scatter
torch-sparse
torch-cluster
torch-spline-conv
这4个依赖的下载地址:https://pytorch-geometric.com/whl/
torch_geometric下载地址:https://pytorch-geometric.com/whl/torch-1.9.0%2Bcpu.html

可以参考:(12月最新)完美兼容安装torch-geometric与torch-scatter torch-sparse torch-cluster、torch-spline-conv的方法及版本对应关系

ubuntu下的pytorch、geometric快速离线安装
pytorch离线安装,torch-geometric离线安装:https://blog.csdn.net/weixin_43872455/article/details/127806702

上面的两个链接都只是离线安装了4个依赖,而不是离线安装torch_geometric,
windows安装torch_geometric教程:https://blog.csdn.net/zuolixiangfisher/article/details/90598939
anaconda的环境如何离线安装torch-geometric:https://blog.csdn.net/kkxi123456/article/details/117482855

会用到的linux命令:

tar:tar -xzvf 文件名.tar.gz -C 另一个文件名
解压.tar.gz文件的命令:https://www.cnblogs.com/Magiclala/p/17732237.html

在安装anaconda的时候遇到的问题

linux安装anaconda3时出现error,the size of ** should be 6*** bytes
linux安装anaconda3时出现error:the size of ** should be 6*** bytes(只看看最后一句)

  • 11
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

饿了就干饭

你的鼓励将是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值