pve集群模式搭建，以及集群网络概述

岳椿涛

已于 2024-11-21 17:20:37 修改

阅读量1.7k

点赞数 1

文章标签：云计算运维

于 2024-11-21 17:18:00 首次发布

本文链接：https://blog.csdn.net/2403_88721590/article/details/143950516

版权

集群模式的优点

集中的Web管理：可以通过任何一个节点管理整个集群，实现集中化的管理界面。
多主集群架构：集群中的任何一个节点都可以作为主节点来管理集群，提高了系统的可用性和灵活性。

加入时需要注意点
1.所有节点必须在同一子网内
2.修改主机名
3.hosts解析

同步集群时间

1. 安装
root@pve:~# apt install ntpdate -y

2. 同步时间
root@pve:~# ntpdate ntp.aliyun.com
2024-11-19 16:00:40.998082 (+0800) -0.002342 +/- 0.006519 ntp.aliyun.com 203.107.6.88 s2 no-leap

3. 设置定时同步
root@pve:~# crontab -e
0 0 * * 6 ntpdata ntp.aliyun.com

创建集群

这里直接web页面创建了     但是加入集群的时候使用web页面总是报错 所以用的命令行

1.通过 ssh 登录到第一个 Proxmox VE 节点并运行以下命令：
hp1# pvecm create CLUSTERNAME

2.要检查新集群的状态，请使用：
hp1# pvecm status

输入创建的集群名称

加入集群

注意！
加入节点不能容纳任何虚拟机，因为来宾 ID 可能会发生冲突，并且节点将继承集群的存储空间 配置。
要将节点加入现有 guest，解决方法是 创建每个 guest 的备份（使用 vzdump）并在不同的 加入后的 ID。
如果节点的存储布局不同，则需要重新添加 节点的 storages，并调整每个 storage 的 node 限制以反映 存储实际可用的节点。

1.修改主机名
root@pve2:~#   hostnamectl ste-hostname pve2

2.编辑hosts解析    对端主节点ip地址 + 主机名
vim /etc/hosts
root@pve2:~#   vim /etc/hosts10.0.0.128  pve

3.加入集群  输入对端主节点ip地址
root@pve2:~# pvecm add 10.0.0.128
Please enter superuser (root) password for '10.0.0.128': ******
Establishing API connection with host '10.0.0.128'
The authenticity of host '10.0.0.128' can't be established.
X509 SHA256 key fingerprint is DF:FA:74:A2:3B:68:E3:B6:EF:0F:D1:D5:38:11:7A:F1:AB:0D:F2:49:D3:2A:09:9E:E1:2E:E1:9D:8C:A7:F3:17.
Are you sure you want to continue connecting (yes/no)? yes
Login succeeded.
check cluster join API version
No cluster network links passed explicitly, fallback to local node IP '10.0.0.3'
Request addition of this node
Join request OK, finishing setup locally
stopping pve-cluster service
backup old database to '/var/lib/pve-cluster/backup/config-1732177473.sql.gz'
waiting for quorum...OK
(re)generate node files
generate new node certificate
merge authorized SSH keys
generated new node certificate, restart pveproxy and pvedaemon services
successfully added node 'pve2' to cluster.

4. 检查集群是否成功搭建
root@pve2:~# pvecm status
...
------------------
Date:             Thu Nov 21 16:27:52 2024
Quorum provider:  corosync_votequorum
Nodes:            2                            当前节点数量
Node ID:          0x00000002
Ring ID:          1.13
Quorate:          Yes

...
Membership information                   成员信息
----------------------
    Nodeid      Votes Name
0x00000001          1 10.0.0.128
0x00000002          1 10.0.0.3 (local)

检查节点
root@pve2:~# pvecm nodes
Membership information
----------------------
    Nodeid      Votes Name
         1          1 pve
         2          1 pve2 (local)

集群节点删除

首先，停止节点上的 corosync 和 pve-cluster 服务：

systemctl stop pve-cluster
systemctl stop corosync
在本地模式下再次启动集群文件系统：

pmxcfs -l
删除 corosync 配置文件：

rm /etc/pve/corosync.conf
rm -r /etc/corosync/*
您现在可以将文件系统作为正常服务再次启动：

killall pmxcfs
systemctl start pve-cluster
节点现在已与集群分离。您可以从任何 群集的剩余节点，其中包含：

pvecm delnode oldnode
如果命令由于剩余节点的 quorum 丢失而失败，则可以设置 预期投票数为 1 作为解决方法：

pvecm expected 1
然后重复 pvecm delnode 命令。

现在切换回分离的节点并删除所有剩余的集群 文件。这可确保节点可以再次添加到另一个集群 没有问题。

rm /var/lib/corosync/*
由于来自其他节点的配置文件仍在集群中 文件系统，您可能还需要清理它们。在绝对确定之后 ，则只需删除整个 目录。

集群网络 CoroSync

集群网络
CoroSync是集群通信的核心。通过它发送的所有消息都必须 按各自的顺序可靠地传送到所有节点。
在 Proxmox VE 中，这个 部分由 CoroSync 完成，CoroSync 是一种高性能、低开销、 高可用性开发工具包。
它服务于我们的去中心化配置 文件系统 （PMXCFS）。

1.查看CoroSync配置文件
root@pve2:~# cat /etc/pve/corosync.conf
logging {
  debug: off
  to_syslog: yes
}

nodelist {
  node {
    name: pve
    nodeid: 1
    quorum_votes: 1
    ring0_addr: 10.0.0.128
  }
  node {
    name: pve2
    nodeid: 2
    quorum_votes: 1
    ring0_addr: 10.0.0.3
  }
}

quorum {
  provider: corosync_votequorum
}

totem {
  cluster_name: q
  config_version: 2
  interface {
    linknumber: 0
  }
  ip_version: ipv4-6
  link_mode: passive
  secauth: on
  version: 2
}
查看corosync状态
root@pve2:~# corosync-cfgtool -s
Local node ID 2, transport knet
LINK ID 0 udp
        addr    = 10.0.0.3
        status:
                nodeid:          1:     connected
                nodeid:          2:     localhost