一、 刪除內建的LVM thin

LVM 有两种，分为 Thin 和 非Thin， 而 pve內建的 local-lvm 的格式是 LVM-Thin ，在使用上有好处也有坏处:

1) 好处:用来建vm or ct 可以有 snapshot(快照)的功能，而且可以超额分配硬碟空间(当然是有代价的)

2) 坏处:这个分割区你无法直接放档案进去，等于这个分割区只能給 vm or ct 专用了

若你不想使用 LVM-Thin 想把它移掉，只当一般的 LVM 使用，LVM 相对于 LVM-thin 的优缺点如下:

1) 优点:你可以直接放档案进去

2) 缺点:vm or ct 沒有快照功能，不能超额分配硬碟空间

按下面的方法转换成一般的LVM 来使用

注意:底下的操作会刪掉你 local-lvm 里的所有资料，请确定你 local-lvm 里沒有要保留的资料

1.先移除 local-lvm

移除指令

# lvremove /dev/pve/data

执行上面这个指令会再次跟你确认。

2.查free PE数字

先查有多少free PE可用

# vgdisplay pve |grep Free

Free PE / Size 14367 / 56.12 GiB

请记住上面的可用空间的数字（标红数字）

3.建新的lvm

把前面查到的数字填在这，意即针剩下的PE全用了

# lvcreate -l 14367 -n data pve

4.格式化、掛载使用

然后你就可以格式化，並掛载來使用了

# mkfs.ext4 /dev/pve/data

# mkdir /mnt/data

# mount /dev/pve/data /mnt/data

二、 quorum机制（Node管理和删除）

Proxmox集群采用了无中心结构，所有节点彼此平等。集群每个服务器各自在本节点的 /etc/pve目录下维护了一个fuse文件系统pmxcfs，并在其中保存了Proxmox集群的全部状态信息。为了确保各个节点维护的集群状态信息及时同步，Proxmox采用了Corosync集群组件管理所有节点，并采用Quorum机制来确保所有集群状态信息的一致性。

Quorum本质上是一种基于少数服从多数的投票机制。即，当集群中各节点就某个状态信息出现不一致意见时，少数服从多数，少数派将根据多数派修改自己的状态信息，最终达到集群中所有服务器状态一致的效果。

为了加深对Quorum机制的理解，可以思考下面的问题场景。

问题场景一：对于一个含有pve01、pve02、pve03三个节点的Proxmox集群，如果pve03节点故障宕机短时间无法修复时，该如何把pve03节点上的虚拟机迁移到pve01节点启动运行呢？

在三个节点均可以正常工作的情况下，可以通过webgui执行迁移操作，把一个节点上的虚拟机迁移到其他节点运行。但是在pve03意外宕机时，再通过webgui去执行迁移操作，会发现系统提示“连接超时”。

ssh登录pve01节点，进入/etc/pve/nodes/pve03/qemu-server目录，使用mv命令把该目录下所有pve虚拟机配置文件移动到/etc/pve/nodes/pve01/qemu-server目录下，然后在webgui里查看，可以发现原来在pve03节点上的虚拟机全部转移到了pve01节点上，然后再逐个启动虚拟机即可。

注意，以上过程我们只是在pve01节点上执行了一个mv命令，并没有操作pve02节点，那么pve02节点上会是什么情况呢？

在执行mv命令前后查看pve02节点上/etc/pve/nodes/pve01/qemu-server和/etc/pve/nodes/pve03/qemu-server目录。可以发现，我们在pve01节点上手工执行的mv操作，Proxmox会自动在pve02节点对应目录下进行同样操作，就好像pve01和pve02对应目录是同一个一样。

这是因为集群一共有3个节点，虽然pve03节点宕机，但剩余的pve01和pve02节点仍然能够达到一个“多数投票”的状态，即3票中的2票，在Quorum机制下，对pve01和pve02仍然能够“代表集群多数，继续行使维护集群状态信息的权力”。所以，在pve01上执行的mv命令时，Proxmox会自动同步到pve02节点，而pve02节点也会配合完成同步操作，确保集群状态信息的完整同步。

问题场景二：pve03节点修复后，重新加入集群时，pve03节点和pve01、pve02节点状态信息不一致，该如何解决？

当pve03节点修复后，重新加入集群前，在pve03节点的/etc/pve/nodes/pve03目录下，原来的虚拟机配置文件都在，也就是说，pve03节点仍然认为这些虚拟机是运行在本节点上，而不是已经被迁移到pve01节点去了。实际上，在断网那一刻，pve03节点上的Proxmox服务会立刻发现自己和集群其他服务器通信中断，自己已经变成了“少数派”，Proxmox集群文件系统服务pve-cluster会立刻把/etc/pve目录设置为只读，你会发现无法对pve03节点的集群文件系统做任何修改。

那么当pve03重新加入集群时，又会发生什么事情呢？pve03在重新加入集群时，作为“少数派”，自然要服从“多数派”pve01和pve02的意见，同步pve01和pve02当前的集群状态信息，洗脱“少数派”的身份，加入“多数派”，确保集群状态一致。

试验验证：

1) 可以新建一个含有三个节点pve01、pve02、pve03的Proxmox集群，在pve01节点/etc/pve目录下执行touch test新建一个名为test的文件，然后分别在pve02和pve03节点上执行ls /etc/pve/test，会发现集群会自动将集群信息变化同步到所有节点。

2) 在pve03的监视器中执行set_link net0 off，关闭pve03节点网卡，模拟断网情况。然后在pve01执行rm /etc/pve/test删除test文件，可以发现pve02节点会同步删除/etc/pve/test，而pve03节点的test文件仍然存在。此时如果在pve03节点执行rm /etc/pve/test，系统会提示“rm: cannot remove test: permission denied”，原因就是此时pve03已经变成少数派，集群文件系统目录被强制只读保护。

3) 在pve03的监视器中执行set_link net0 on，重新开启pve03节点网卡，恢复和集群其他服务器的通信，然后再pve03执行ls /etc/pve/test，系统会提示“ls: cannot access test: No such file or directory”，原因就是pve03从pve01和pve02同步了最新的集群状态，test文件被自动删除了。

问题场景三：如果集群里只有两个节点pve01和pve02，在一个节点故障宕机的情况下，又会发生什么事呢？

在只有两个节点的情况下，任何一个节点断网，都会导致集群的“脑裂”，pve01和pve02各有一票，都是“少数派”，无法形成有效的“多数派”，两台服务器的集群文件系统目录都会自动设置为写保护。

此种情况下，如果要删除已宕机节点，可按下面方法操作：

1) 执行pvecm expected 1，降低Quorum要求，重新激活集群文件系统。（但是在网络通信恢复前，必须要手工确保pve01和pve02两个节点的集群状态一致。否则，谁该听谁的呢？这也是非常不推荐双机Proxmox集群的一个重要原因。）

2) # Pvecm delnode NodeName # 删除集群节点