Horovod分布式搭建——UbuntuServer 22.04

已于 2022-09-27 02:49:04 修改
阅读量745 收藏 1
点赞数
文章标签： 分布式 ubuntu
于 2022-08-08 12:42:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yx1405585468/article/details/126225365
版权

Horovod安装文档

**说明：**centos7已停止维护，g++最新版本4.8.5，编译horovod会无法匹配tensorflow最新版本，故此使用Ubuntu Server镜像，centosstream9可直接yum安装g++，cmake，openmpi，会更快捷方便。centosstream9配置同centos，配置见spark集群搭建文档 PySpark开发——Spark分布式集群环境搭建（Linux）_蒲魔树的种子的博客-CSDN博客

一、配置单台Ubuntu服务器

  1. 安装源

    # 华为源
http://repo.huaweicloud.com/ubuntu

  2. 国内源（选修）

    # 1. 清华源
vim /etc/apt/sources.list

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse

  3. 配置单台Ubuntu Server 22.04

    # 1. 登录
user
"password"

# 2. 开机设置Root密码
sudo passwd root
su

# 3. 安装net-tools(ifconfig)
apt install net-tools

# 4. 查看IP地址
ifconfig

# 5. SSH远程登录
ssh user@192.168.172.136

# 6. 设置允许Root用户SSH登录
su
echo "PermitRootLogin yes" >> /etc/ssh/sshd_config
service ssh restart

# 7. 快速ssh
vim /etc/ssh/sshd_config
GSSAPIAuthentication no
UsePAM no
UseDNS no
sudo service ssh restart

# 8. 修改host
vim /etc/hosts
192.168.172.131 node1
192.168.172.132 node2
192.168.172.133 node3

# 9. 创建文件夹
mkdir -p /export/software/
mkdir -p /export/server/

# 10. 时间同步
apt install ntpdate
timedatectl set-timezone Asia/Shanghai
ntpdate ntp.ntsc.ac.cn

# 11. 关机慢
vim /etc/systemd/system.conf
DefaultTimeoutStartSec=10s
DefaultTimeoutStopSec=10s
sudo systemctl daemon-reload

# 12. 关闭防火墙，即SELinux （22.04默认全部关闭）
ufw enable
vim /etc/selinux/config
SELINUX=disabled

  4. 修改静态IP

    ll /etc/netplan
vim /etc/netplan/00-installer-config.yaml

    # This is the network config written by 'subiquity'
network:
  ethernets:
    ens33:
      dhcp4: false
      dhcp6: false
      addresses:
      - 192.168.172.131/24
      routes:
      - to: default
        via: 192.168.172.2
      nameservers:
       addresses: [192.168.10.20,192.168.10.21]
  version: 2

    netplan apply

  5. 配置环境变量

    # 环境变量
vim /etc/profile
vim ~/.bashrc

    # Anaconda
export ANACONDA_HOME=/export/server/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin

# Open MPI
export OMPI_ALLOW_RUN_AS_ROOT=1
export OMPI_ALLOW_RUN_AS_ROOT_CONFIRM=1

# 中文显示
export LC_ALL=zh_CN.UTF-8

    # 激活环境
source /etc/profile
source ~/.bashrc

二、安装g++

  1. Ubuntu指令

    # 1. 安装g++
apt install gcc
apt install g++

三、安装Cmake

  1. Ubuntu指令

    # 1. 安装cmake
apt install cmake

四、安装Open MPI

  1. Ubuntu指令

    # 1. 下载openmpi-4.1.4
cd /export/software/
wget https://download.open-mpi.org/release/open-mpi/v4.1/openmpi-4.1.4.tar.gz

# 2. 解压openmpi-4.1.4
tar -zxvf openmpi-4.1.4.tar.gz -C /export/server/

# 3. 进入解压目录
cd /export/server/openmpi-4.1.4

# 4. 指定编译位置
./configure --enable-orterun-prefix-by-default

# 5. 编译
make -j $(nproc) all

# 6. 安装
make install

# 7. 加载
ldconfig

# 8. 测试
cd /export/server/openmpi-4.1.4/examples
make
./hello_c

五、安装Anaconda3

  1. 下载Anaconda3

    cd /export/software/
wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh

  2. 安装Anaconda3

    # 1. 安装
sh Anaconda3-2022.05-Linux-x86_64.sh

# 2. 指定安装目录
/export/server/anaconda3/

# 3. 初始化init
yes

  3. 配置清华源

    # 配置清华源
vim ~/.condarc

    channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

    # 镜像源生效
conda clean -i

# 重新登录
logout
ssh root@node1

  4. 创建环境，激活

    # 创建horovod虚拟环境
conda create -n horovod python=3.9 -y

# 激活环境
conda activate horovod

# 配置pip源（二选一，华为更快，清华更新）
pip config set global.index-url https://repo.huaweicloud.com/repository/pypi/simple
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

六、安装horovod

  1. 安装tensorflow

    # 安装tensorflow
pip install tensorflow

  2. 安装horovod

    # 安装horovod（初次安装）
pip install horovod

# 安装horovod（非初次安装，禁用缓存）
pip install --no-cache-dir horovod

  3. 若有需要，可以提前安装一下docker

    curl -sSL https://get.daocloud.io/docker | sh

七、复制Linux，配置集群

  1. 同spark配置文档

    # 1. 修改hostname
vim /etc/hostname

# 修改IP地址
ll /etc/netplan/
vim /etc/netplan/00-installer-config.yaml
netplan apply

  2. 免密登录

    # 三台虚拟机相互登录
ssh-keygen -t rsa （node1、node2、node3）
ssh-copy-id node1 （node1、node2、node3）

scp /root/.ssh/authorized_keys node2:/root/.ssh  (分发：仅在node1执行)
scp /root/.ssh/authorized_keys node3:/root/.ssh  (分发：仅在node1执行)
scp /root/.ssh/authorized_keys node4:/root/.ssh  (分发：仅在node1执行)

  3. NFS服务器设置

    # 见Horovod-docker相关章节

Horovod-docker安装文档

一、同一（Horovod安装文档，不用配置环境变量）

二、安装Horovod-docker

  1. 安装docker

    curl -sSL https://get.daocloud.io/docker | sh

  2. 拉取horovod镜像

    docker pull horovod/horovod-cpu

三、复制Linux集群

  1. 修改IP与hostname

    # 1. 修改hostname
vim /etc/hostname
node2/node3

    # 2. 修改静态IP
ll /etc/netplan
vim /etc/netplan/00-installer-config.yaml

    # 静态IP设置
network:
  ethernets:
    ens33:
      dhcp4: false
      dhcp6: false
      addresses:
      - 192.168.172.131/24
      routes:
      - to: default
        via: 192.168.172.2
      nameservers:
       addresses: [192.168.10.20,192.168.10.21]
  version: 2

    # 应用静态IP
netplan apply

  2. 免密登录

    # 三台虚拟机相互登录
ssh-keygen -t rsa （node1、node2、node3）
ssh-copy-id node1 （node1、node2、node3）

scp /root/.ssh/authorized_keys node2:/root/.ssh  (分发：仅在node1执行)
scp /root/.ssh/authorized_keys node3:/root/.ssh  (分发：仅在node1执行)

四、配置nfs文件共享服务器

说明：转自horovod多机多卡启动指南 | 技术自留地 (chaopeng.name)

  1. 配置主机NFS服务：node1

    # ==========================================node1=========================================== #
#1. 安装nfs服务器
sudo apt install nfs-kernel-server

#2. 编写配置文件
sudo vim /etc/exports
## 末尾追加
/export/data/share *(rw,sync,no_subtree_check,no_root_squash)

#3. 创建共享目录
sudo mkdir -p /export/data/share

#4. 重启nfs服务
sudo service nfs-kernel-server restart

#5. 常用命令工具：
## 显示已经mount到本机nfs目录的客户端机器。
sudo showmount -e localhost

## 将配置文件中的目录全部重新export一次！无需重启服务。
sudo exportfs -rv

## 查看NFS的运行状态
sudo nfsstat

## 查看rpc执行信息，可以用于检测rpc运行情况
sudo rpcinfo

## 查看网络端口，NFS默认是使用111端口。
sudo netstat -tu -4

  2. 配置附属机NFS服务：node2、node3、…、node n

    # ===================================node2、node3..======================================== #
#1. 安装nfs客户端
sudo apt install nfs-common

#2. 查看NFS服务器上的共享目录
sudo showmount -e node1

#3. 创建本地挂载目录
sudo mkdir -p /export/data/share

#4. 挂载共享目录(node1不生效就直接写IP地址)
sudo mount -t nfs node1:/export/data/share /export/data/share

#5. 挂载Windows共享网盘命令（针对windows共享）
mount -t cifs -o username=1945,password=.... //192.168.248.1/data/share /export/data/share

五、配置horovod-docker

  1. horovod-docker配置

    # 1. 建立容器
docker run -itd --net=host -v /export/data1:/export/data1 --name horovod --shm-size=126g horovod/horovod-cpu bash

# 2. 运行容器
## 首次运行（安装时）
docker exec -it horovod bash

## 使用运行（非安装）
docker ps -a (获取容器your_id)
docker start your_id
docker exec -it horovod bash

  2. 容器内ssh免密登录（二选一）

    1. 全部免密
    # 三台虚拟机相互登录
ssh-keygen -t rsa （node1、node2、node3）
ssh-copy-id node1 （node1、node2、node3）

scp /root/.ssh/authorized_keys node2:/root/.ssh  (分发：仅在node1执行)
scp /root/.ssh/authorized_keys node3:/root/.ssh  (分发：仅在node1执行)
    1. 有端口的局部免密
      1. 配置负节点 node2 、node3 …
    #1. 修改sshd配置
vim /etc/ssh/sshd_config
#2. 改动如下
Port 10086
PermitRootLogin yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys .ssh/authorized_keys2
#3. 保存配置，启动sshd
/usr/sbin/sshd
#4. 查看ssh是否启动
ps -ef | grep ssh

    ​ 2. 配置 node1 到 node2 / node3 节点的免密登录

    #1. 生成秘钥
ssh-keygen -t rsa
#2. 在node2上创建.ssh文件夹
ssh -p 10086 node2 mkdir -p .ssh
#3. 将公钥添加到B的authorized_keys里
cat /root/.ssh/id_rsa.pub | ssh -p 10086 node2 'cat >> .ssh/authorized_keys'
#测试是否可以免密登录
ssh -p 10086 node2
蒲魔树的种子
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python-Uber发布的TensorFlow分布式训练框架Horovod
08-09
Uber发布的TensorFlow分布式训练框架Horovod
ubuntu 18.04安装horovod
Learning from the mistakes
07-01 2216
今天在跑spellGCN的时候发现需要安装horovod，但是安装过程并不是很顺利，我这里分享一下我安装成功的方法： 我的报错日志为： File "/home/wugaosheng/anaconda3/envs/ctc/lib/python3.6/site-packages/horovod/tensorflow/__init__.py", line 25, in <module> check_extension('horovod.tensorflow', 'HOROVOD_WIT
ubuntu22.04安装初始化
最新发布
shijin741231的博客
06-21 465
CentOS 7 马上就停止支持服务了，未雨绸缪，整理Ubuntu 22.04的 初始化脚本。
Ubuntu20.04下Horovod GPU安装
weixin_45385568的博客
11-08 721
前言：之前在看分布式训练的时候看到了这个框架，尝试安装并使用，但是在安装和使用过程中踩了很多的坑，这里记录一下。（关于分布式训练有个系列文章很不错，链接我放在这里大家和可以看看。） 单机多卡-1.理论基础、单机多卡-2.TensorFlow、单机多卡-3.Pytorch、单机多卡-4.Horovod 1.安装流程 我们先来到horovod的官网：horovod安装引导 这里我们看到了一些基本的要求，包括python3，cmake，g++等等，安装过程比较简单这里不在赘述。同时为了使用显卡，cuda+cud
ubuntu 18.04 Horovod的安装和使用
qianshuqinghan的博客
04-05 2996
参考： https://github.com/horovod/horovod/blob/master/docs/install.rst 0 安装horovod所需要的g++版本 安装时可能出现g++版本过高的问题，因此需要进行版本切换。gcc多版本间的切换（g++配置方法一样，gcc换为g++即可）. 直接安装可能报错，按如下步骤操作： 1).修改源 sudo g...
记录linux(ubuntu 16.04)+conda虚拟环境下配置hovorod的详细过程和问题解决
cwj1412的博客
08-23 1570
提供在linux（ubuntu 16.04）环境下，使用conda构建虚拟环境，在新环境中从头配置pytorch训练环境，安装hovorod的详细过程，同时给出安装过程遇到的问题和解决方法。
ubuntu22.04lts服务端安装桌面离线包
08-03
在Ubuntu 22.04 LTS (Jammy Jellyfish) 中，系统默认为服务器版本，不包含图形化桌面环境，主要是为了优化服务器性能和资源利用。然而，有时我们需要在服务器上进行图形化操作，比如远程桌面管理或者进行图形化配置...
ubuntu-22.04.3-live-server-amd64.zip.001
12-14
ubuntu-22.04.3-live-server-amd64.iso，文件使用360压缩软件分割成3个压缩包，必须一起下载使用： 文件1：https://download.csdn.net/download/weixin_43800734/88628617 文件2：...
ubuntu-22.04.3-live-server-amd64.zip.003
12-14
ubuntu-22.04.3-live-server-amd64.iso，文件使用360压缩软件分割成3个压缩包，必须一起下载使用： 文件1：https://download.csdn.net/download/weixin_43800734/88628617 文件2：...
ubuntu-22.04.3-live-server-amd64.zip.002
12-14
ubuntu-22.04.3-live-server-amd64.iso，文件使用360压缩软件分割成3个压缩包，必须一起下载使用： 文件1：https://download.csdn.net/download/weixin_43800734/88628617 文件2：...
ubuntu16.04安装horovod
fsdgfsf的博客
05-16 550
本次安装的背景是已经安装好了tensorflow 一、安装openmpi wget https://download.open-mpi.org/release/open-mpi/v3.1/openmpi-3.1.2.tar.gz tar zxvf openmpi-3.1.2.tar.gz cd openmpi-3.1.2/ ./configure --prefix=/usr/local make -j8 make install 二、安装horovod 因为我的服务器没有GPU，所以tensorflow和
Ubuntu安装horovod工作记录
eternal963的博客
05-18 306
本文记录了本人在环境配置过程中具体使用的一些代码，可供参考，具体使用要根据情况而定。
基于智云星云服务器tensorflow的版本升级和Horovod安装与使用
qq_40701060的博客
08-09 509
智云星云服务器默认环境如下 tensorflow：1.14.0 tensorflow是否支持调用gpu：是 gcc：7.5.0 CUDA version：10.0.130 Driver Version：460.73.01 Cmake：无 CUDNN_VERSION:7.6.5.32 目前要配置horovod环境，查询资料可知，目前horovod只支持tensorflwo>=1.15的版本，因此要更新tensoflow版本，但是为了不破坏原本已经配好的环境，因此使用tensorfl.
Horovod——Uber分布式深度学习框架部署实践
勇敢的大脑
02-27 3929
Horovod——Uber分布式深度学习框架部署实践References:部署实践——Horovod in docker：测试环境：## Ubuntu系统安装——bios设置：显卡驱动：系统版本支持及环境包配置：部署docker环境：通过配置DockerFile, 在线下载并部署horovod环境:Nvidia-docker2.0安装：多机器root_ssh配置：Horovod测试：Running...
在Ubuntu 22.04上使用NFS和CIFS
wang20010104的博客
05-14 1282
如果服务器只支持NTLM，并且你的Linux发行版不再支持NTLM，你可能需要更新服务器配置以使用更新的认证方法。虽然NTLM曾经是一个常见的SMB认证协议，但随着时间的推移，它被认为是不够安全的，并且在现代Linux发行版中，默认可能不再支持或推荐使用。如果你确实需要访问一个只支持SMB 1.0的服务器，并且没有其他选择，你可以继续使用这个版本，但你应该非常清楚你正在承担的安全风险。命令来挂载共享文件夹。或类似的参数，因为当你指定一个较新的SMB版本时，通常不需要明确指定安全选项，除非服务器有特殊需求。
Horovod安装
中国红客99代传人的博客
05-10 903
Horovod需要mpi进行通信，NCLL和CUDA进行编译，所以安装Horovod前需要先安装相应的依赖。
Horovod安装和使用
热门推荐
zhang0311的专栏
03-29 1万+
1. 简介 Horovod是TensorFlow、Keras和PyTorch的分布式培训框架。Horovod的目标是使分布式深度学习快速且易于使用。 2. 安装 https://github.com/uber/horovod/blob/master/docs/gpus.md 安装NCCL https://docs.nvidia.com/deeplearning/...
horovod＞command＞horovod的一些命令
我要做全栈
01-28 567
本文以具体的案例解释命令中的参数作用… 1 horovodrun -np 1 -H localhost:1 python tensorflow_mnist.py -np 指定使用的插槽数量（设备数？），不能超过可用最大输入，否则报错： There are not enough slots available in the system to satisfy the 4 slots that were requested by the application: python Either reques
ubuntu server 22.04 c++
05-01
Ubuntu Server是一款流行的服务器操作系统，是基于Debian的Linux发行版。Ubuntu Server 22.04就是Ubuntu Server的最新版本，它的代号是Jammy Jellyfish。 Ubuntu Server 22.04提供了许多新功能和改进，如更快的性能、更好的安全性和更好的稳定性。它提供了最新版本的GNU/Linux工具和应用程序，包括Apache、MySQL、PHP、Python等。Ubuntu Server 22.04也提供了自己的云平台，可以轻松地部署和管理云服务。 C语言是一种广泛使用的编程语言，它是Ubuntu Server 22.04中的一种语言。Ubuntu Server 22.04提供了C语言编译器和开发环境，使用它可以开发高性能和高效的应用程序。C语言也是很多云平台和网络应用程序的主要语言之一，因此在Ubuntu Server 22.04中学习和使用C语言是非常有用的。 总之，Ubuntu Server 22.04是一款出色的服务器操作系统，提供了许多新功能和改进，同时也支持C语言编程。无论是对于开发人员还是系统管理员，它都是一个值得推荐的选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值