创建ocfs2集群和增加节点

创建ocfs2 cluster

首先，在所有节点上要有一个共享的块设备。

具体可以通过不同机制来实现。例如，通过把一个节点的块设备以iscsi的形式让其他节点挂载；或者在FC-SAN架构下，通过配置盘阵，让不同的节点看到同一个块设备。当然，具体映射的linux设备名可能是不同的，例如在一个节点上是/dev/sdc，在另一个节点上是/dev/sde。

下面一个已经装好的例子

[root@tncloud10 ~]# mounted.ocfs2 -f

Device Stack Cluster F Nodes

/dev/ sde1 o2cb tncloud06, tncloud10

[root@tncloud06 ~]# mounted.ocfs2 -f

Device Stack Cluster F Nodes

/dev/ sdc1 o2cb tncloud06, tncloud10

第二，linux内核要支持ocfs。例如

# lsmod|grep ocfs

ocfs2_dlmfs 27704 1

ocfs2_stack_o2cb 13279 1

ocfs2_dlm 229980 1 ocfs2_stack_o2cb

ocfs2 1079135 3

ocfs2_stackglue 17171 3 ocfs2,ocfs2_stack_o2cb,ocfs2_dlmfs

ocfs2_nodemanager 237661 12 ocfs2,ocfs2_stack_o2cb,ocfs2_dlmfs,ocfs2_dlm

jbd2 102940 1 ocfs2

OCFS2有自己的集群服务结构，叫做O2CB，它包括：

NM：节点管理器，它对cluster.conf文件中所有节点进行的监控。

HB：心跳服务（Heart beat service），他在节点离开或加入rac时提示up和down的消息。

TCP：控制节点间的通讯。

DLM：分布式锁管理器，它持续跟踪所有的锁，锁的所有者及状态。

CONFIGFS：用户配置文件系统驱动空间，挂节点是/config

DLMFS:用户空间和内核空间DLM的接口。

值得注意的是，尽管linux支持ocfs2，但常见的linux发行版内核可能并没有编译ocfs2模块。笔者自行在centos7上编译了支持ocfs2的内核。

# uname -a

Linux tncloud10 3.10.0-327.28.2.el7.tn.1.x86_64 #1 SMP Thu Aug 11 14:48:56 CST 2016 x86_64 x86_64 x86_64 GNU/Linux

# cat /boot/config-3.10.0-327.28.2.el7.x86_64 |grep OCFS2

CONFIG_OCFS2_FS=m

CONFIG_OCFS2_FS_O2CB=m

CONFIG_OCFS2_FS_USERSPACE_CLUSTER=m

CONFIG_OCFS2_FS_STATS=y

CONFIG_OCFS2_DEBUG_MASKLOG=y

# CONFIG_OCFS2_DEBUG_FS is not set

第三，安装ocfs2-tools用户工具。

# rpm -qa|grep ocfs

ocfs2-tools-1.8.4-1.12.el7.x86_64

主要提供了以下工具

格式化工具

mkfs.ocfs2

集群管理工具

o2cb_ctl

/etc/rc.d/init.d/o2cb

/etc/rc.d/init.d/ocfs2

等等。

例如，查看ocfs2文件系统属性。

# tunefs.ocfs2 -Q "UUID = %U\nNumSlots = %N\nBlock size = %B bytes\nCluster size = %T bytes\nRoot directory block number = %R\nSystem directory block number = %Y\nFirst cluster group block number = %P\nVolume label = %V\nCompat flags = %M\nIncompat flags = %H\nRO Compat flags = %O\n" /dev/sdc1

UUID = B8F7C05388CD4814BEDD4AE2A1C0A001

NumSlots = 8

Block size = 4096 bytes

Cluster size = 65536 bytes

Root directory block number = 33

System directory block number = 34

First cluster group block number = 16

Volume label =

Compat flags = backup-super strict-journal-super

Incompat flags = sparse extended-slotmap inline-data metaecc xattr indexed-dirs refcount discontig-bg

RO Compat flags = unwritten usrquota grpquota

第四，确保节点之间网络互通。

第五，在各个节点上，创建和编辑一个文件 /etc/ocfs2/cluster.conf

举例如下

#start

cluster:

heartbeat_mode = local

node_count = 2

name = tncloud

node:

number = 0

cluster = tncloud

ip_port = 7777

ip_address = 10.10.150.6

name = tncloud06

node:

number = 1

cluster = tncloud

ip_port = 7777

ip_address = 10.10.150.10

name = tncloud10

#end

第六，启动ocfs2 clsuter。

# /etc/init.d/o2cb load

# /etc/init.d/o2cb online

# /etc/init.d/o2cb status

Driver for "configfs": Loaded

Filesystem "configfs": Mounted

Stack glue driver: Loaded

Stack plugin "o2cb": Loaded

Driver for "ocfs2_dlmfs": Loaded

Filesystem "ocfs2_dlmfs": Mounted

Checking O2CB cluster "tncloud": Online

Heartbeat dead threshold: 61

Network idle timeout: 30000

Network keepalive delay: 2000

Network reconnect delay: 2000

Heartbeat mode: Local

Checking O2CB heartbeat: Active

如果提示Checking O2CB heartbeat: Not active，说明还没挂载共享磁盘。

第七，挂载共享磁盘。

找一个节点，只需执行一次。

# mkfs.ocfs2 -C 64K -T vmstore -N 8 -J block64 --fs-feature-level=max-features /dev/sde1 -F

然后，在所有节点上mount。

# mount -t ocfs2 /dev/sdc1 /mnt/tncloud

成功mount之后，例如

[root@tncloud06 ~]# mount|grep ocfs2

ocfs2_dlmfs on /dlm type ocfs2_dlmfs (rw,relatime)

/dev/sdc1 on /mnt/tncloud type ocfs2 (rw,relatime,_netdev,heartbeat=local,nointr,data=ordered,errors=remount-ro,atime_quantum=60,coherency=full,user_xattr,acl)

至此创建工作完成。

第八，如果写入/etc/fstab，必须加上_netdev选项，指示必须在网络可用情况下再进行mount。例如

UUID="b8f7c053-88cd-4814-bedd-4ae2a1c0a001" /mnt/tncloud ocfs2 _netdev ,defaults 0 0

参考

http://www.cnblogs.com/shanno/p/3982195.html

http://www.cnblogs.com/zhangpengme/archive/2011/12/29/2306362.html

增加ocfs2节点

第一，检查numslots是否满足增加节点的需求。确保cluster在线，执行

# tunefs.ocfs2 -Q "NumSlots = %N\n" /dev/sde1

NumSlots = 8

如果需要修改，

# tunefs.ocfs2 -N <numslots> device

增加节点分为两种情况，在线增加和离线增加。

在线增加新的ocfs2节点

使用o2cb_ctl 工具，在每个节点上执行：

# o2cb_ctl -C -i -n NODENAME -t node -a number=NODENUM -a ip_address=IPADDR -a ip_port=IPPORT -a cluster=CLUSTERNAME

man手册的例子 Add node10 to an online cluster:

$ o2cb_ctl -C -i -n node10 -t node -a number=10 -a ip_address=192.168.1.10 -a ip_port=7777 -a cluster=mycluster

参数说明

-C Create an object in the OCFS2 Cluster Configuration.

表示创建一个新的对象。

-i Valid only with -C. When creating something (node or cluster), it will also install it in the live cluster. If the parameter is not specified, then only update the /etc/ocfs2/cluster.conf.

意思是不但更新cluster.conf，也同时更新clutser相关进程的内存数据。

-n object object is usually the node name or cluster name. In the /etc/ocfs2/cluster.conf file, it would be the value of the name parameter for any of the sections (cluster or node).

对于添加新的节点，-n参数是代表 node name。

-t type type can be cluster, node or heartbeat.

对于添加index节点，-t参数是node。

-a <attribute> With -C, <attribute> is in format "parameter=value", where the parameter is a valid parameter that can be set in the file /etc/ocfs2/cluster.conf.

指明各个属性值，例如ip_address=1.2.3.4。

离线cluster环境中增加新的节点

可以使用console，或者直接手动修改cluster.conf文件，然后通过console或者直接拷贝cluster.conf文件到所有的节点。

也可以使用o2cb_ctl，例如

# o2cb_ctl -C -n NODENAME -t node -a number=NODENUM -a ip_address=IPADDR -a ip_port=IPPORT -a cluster=CLUSTERNAME 

离线环境不需要加参数“-i”。