Storage--SCSI＋CLVM＋GFS

 

SCSI＋CLVM＋GFS
1.注意要有一个已经成经启动的集群。
 /etc/init.d/cman start
2.安装包
 yum install lvm2-cluster-2.02.40-7.el5.i386.rpm
3.在集群中开启(单机工作方式---->集群工作方式)：
  lvmconf --enable-cluster
 （实际 /etc/lvm/lvm.conf 上修改了这个。）
4.启动进程
   /etc/init.d/clvmd restart
5.LVM
 pvcreate /dev/iscsi/storage
 vgcreate cvg /dev/iscsi/storage
 lvcreate -L 9500M -n clv cvg
 所有节点的所有共享设备必须准备就绪
6.格式化（不选择EXT3）
 mkfs.ext3 /dev/cvg/clv
 ext3不能即时同步所有文件，因此需要使用GFS（全局文件系统）
7.GFS
 安装工具组
  [root@node2 ClusterStorage]# rpm -ivh ../Server/gfs2-utils-0.1.53-1.el5.i386.rpm
  [root@node2 ClusterStorage]# rpm -ivh gfs-utils-0.1.18-1.el5.i386.rpm
 安装驱动
   [root@node2 ClusterStorage]# rpm -ivh kmod-gfs-0.1.31-3.el5.i686.rpm
8.格式化
 mkfs.gfs -p lock_dlm -t blues_cluster:gf -j 2 /dev/cvg/clv
  --------------------------------------
  全在线添加新节点
   1.添加节点
    a./etc/hosts
    b.cluster.conf
    c.scp cluster.conf 新节点
    d.cman start
   2.存储
    发现
    登录
    Udev
   3.CLVM
    lvmconf --enable-cluster
    clvmd start
   4.GFS
    mount
  -----------------------------------------
9.挂载测试
 在节点1上挂载 新建文件 
  mount –t gfs /dev/cvg/clv /opt
  touch file
 在节点2测试文件是否存在
10.扩展容量
------------------------------------------------
 1.存储target
  发布新的存储空间
 2.存储initator
  发现
  手动登录
 3.LVM扩展
 4.gfs2_grow
----------------------------------------------- 
 pvcreate /dev/iscsi/storage1
 vgextend cvg /dev/iscsi/storage1
 lvextend -L 3000M /dev/cvg/clv
 mount  /dev/cvg/clv /opt/
 gfs2_grow /opt/ 在线扩容--->刷新
11.查看详细信息
 gfs2_tool -h 
 gfs2_tool df /opt/
  /opt:
    SB lock proto = "lock_dlm"
    SB lock table = "blues_cluster:gf"
    SB ondisk format = 1801
    SB multihost format = 1900
    Block size = 4096
    Journals = 2
    Resource Groups = 50
    Mounted lock proto = "lock_dlm"
    Mounted lock table = "blues_cluster:gf"
    Mounted host data = "jid=1:id=196609:first=0"
    Journal number = 1
    Lock module flags = 0
    Local flocks = FALSE
   Local caching = FALSE
12.扩展日志份数
 gfs2_jadd -h
 gfs2_jadd -j 1 /dev/cvg/clv   扩容一份日志 
 gfs2_grow /opt/ 刷新
 gfs2_tool df /opt/ 查看详细信息
 gfs2_tool journals /opt/   查看日志分数

 

13.系统启动自动挂载gfs2文件系统
 /etc/fstab
  /dev/cvg/clv /var/lib/mysql gfs2 defaults 0 0
  
14.所有服务启动顺序
 存储：
  service tgtd start
 节点：
  service iscsi start
  service iscsid start
  service cman start
  service clvmd start
  service gfs2 start
  service mysqld start