[虚拟化] Proxmox VE/pve的安装

Proxmox VE的安装

1. 环境准备

主机规划

pve1:
ip: 10.0.0.11
网关:10.0.0.254
DNS: 114.114.114.114

pve2:
ip: 10.0.0.12
网关:10.0.0.254
DNS: 114.114.114.114

镜像

proxmox-ve_5.3-2

https://pan.baidu.com/s/1MiobiS13v8TwwGMbykb_hQ 提取码：pblr
https://www.proxmox.com/en/downloads 官方下载地址

系统版本

Debian8.x

虚拟机磁盘/内存大小

内存:2G 磁盘:60G

2. 安装pve

安装完成后查看浏览器https://10.0.0.13:8006

3.pve集群部署

在pve1上创建集群
root@pev1:~# pvecm create mynode
查看集群状态
root@pev1:~# pvecm status
将pve2加入集群pve1
root@pev12:~# pvecm add 10.0.0.1
查看节点
root@pev11:~# pvecm nodes
查看浏览器

删除集群节点

在要删除的节点上停止 pve-cluster跟corosync 服务
systemctl stop pve-cluster.service
systemctl stop corosync.service

然后将要删除节点的集群文件系统设置为本地模式
pmxcfs -l

删除 corosync 配置文件
rm /etc/pve/corosync.conf
rm -rf /etc/corosync/*

最后重新启动集群文件系统服务
killall pmxcfs
systemctl start pve-cluster.service

节点与集群分离,可以在某一个节点上去删除它
pvecm delnode oldnode

如果因前面的隔离操作，原集群中剩余节点已经不满足多数票，节点删除命令就会失败。你可以将期望的多数票数量设置为1
pvecm expected 1

重复节点删除命令即可

4.创建KVM虚拟机

创建虚拟机前需要准备好镜像
默认镜像位置为/var/lib/vz/template

创建完成以后启动就可以,然后就开始进入CentOS7.7的安装界面,这里就不过多阐述了

5. 网络配置

NAT网络配置原理(如果公网ip足够那么下面步骤可以忽略)

对Promox的网络进行配置。由于这台机器仅有一个公网IP。我们并不能为创建的虚拟机分配各自的公网IP。所以我们要给为每一台虚拟机分配一个内网IP地址。并通过iptables 为每一个内网IP地址做相应的端口转发

当我们通过公网IP的1022端口访问SSH时，首先访问的是Proxmox主机的NAT网络。再通过iptables的转发，最终访问虚拟机内网IP（10.0.0.1）的22端口。从而实现将虚拟机的22端口在公网之中可以顺利访问

公网ip在这里就不方便透露了,见谅

相关文件配置

以下代码将新建一个vmbr2的虚拟网卡。并规划 10.0.0.*内网网段。将此网段的所有上下行流量通过NAT全部转发至vmbr0的网卡。最后两行，是通过iptables将静态IP （10.0.0.1）的22端口转发为公网IP的1022端口。所以如果您需要新建1个以上的虚拟机。请添加更多的转发设置，以及设定新的转发端口

auto vmbr2
iface vmbr2 inet static
    address 10.0.0.254
    netmask 255.255.255.0
    bridge_ports none
    bridge_stp off
    bridge_fd 0
    post-up echo 1 > /proc/sys/net/ipv4/ip_forward
    post-up iptables -t nat -A POSTROUTING -s '10.0.0.0/24' -o vmbr0 -j MASQUERADE
    post-down iptables -t nat -D POSTROUTING -s '10.0.0.0/24' -o vmbr0 -j MASQUERADE
    post-up iptables -t nat -A PREROUTING -i vmbr0 -p tcp --dport 1022 -j DNAT --to 10.0.0.1:22
    post-down iptables -t nat -D PREROUTING -i vmbr0 -p tcp --dport 1022 -j DNAT --to 10.0.0.1:22

操作步骤

将以上代码追加到文件/etc/network/interfaces
重启网卡
systemctl restart networking

接着用ssh编辑防火墙规则允许访问1022端口
iptables -A INPUT -p tcp --dport 1022 -j ACCEPT
iptables -A OUTPUT -p tcp --sport 1022 -j ACCEPT

修改虚拟机的网卡

虚拟机内测试

[root@localhost ~]# ping baidu.com
PING baidu.com (39.156.69.79) 56(84) bytes of data.
64 bytes from 39.156.69.79 (39.156.69.79): icmp_seq=1 ttl=50 time=41.4 ms
64 bytes from 39.156.69.79 (39.156.69.79): icmp_seq=2 ttl=50 time=41.9 ms

测试ok,虚拟机可以访问外网

ssh远程连接测试

登陆成功/注:登录反应会有点慢

注意事项

添加虚拟网卡vmbr2时设置的网段跟创建虚拟机的ip网段要在同一网段

6. 集群网络配置

为了实现不同母鸡下面的小鸡互通
这里我也是踩坑踩了很久,因为对网络不太熟悉,出糗了
最后在一群群友的帮助下解决了问题 群号:549932971
他跟我以前加的其他群不一样,里面的人都很好,不管你的问题简单还是复杂,只要他们会,很快就会给你解决方案,不会是那种没人理很尴尬的那种

首先给小鸡都添加一块网卡作为内网使用

给小鸡配置内网ip/注意:不要配置网关

[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth1
TYPE=Ethernet
BOOTPROTO=static
NAME=eth1
DEVICE=eth1
ONBOOT=yes
IPADDR=192.168.0.200
NETMASK=255.255.255.0

小鸡的内网桥接到vmbr0上面实现不同母鸡下的小鸡互相通讯

[root@localhost ~]# ping 192.168.0.100
PING 192.168.0.100 (192.168.0.100) 56(84) bytes of data.
64 bytes from 192.168.0.100: icmp_seq=1 ttl=64 time=0.231 ms
64 bytes from 192.168.0.100: icmp_seq=2 ttl=64 time=0.205 ms
64 bytes from 192.168.0.100: icmp_seq=3 ttl=64 time=0.223 ms

小鸡互ping可以ping通了就ok

一些日常问题

iptables端口映射问题

每次添加新的端口映射iptables规则时,以前配置过的规则会失效
虚拟机的网卡会掉,点开web界面重新挂上就ok了

新手上路,查了很多文档,借鉴了很多大神们的劳动成果,由于pve做完了很久,才写的这个文档,以前也没记录链接,如有看到文档中有别人的劳动成果,请找我,我添加链接,谢谢