Heartbeat+nfs+drbd

 

前言说明：

 

heartbeat+nfs+drbd

背景：
现在好多公司为了省钱，都没有存储服务器，但是企业还要求双机热备，数据的快速读写和数据的可靠性。
现在公司大部分架构是这个样子的： 前端两台web服务器做ha单台工作（热备）比如说是两台nginx，后面就是真正的应用服务器，数据都放在本地然后用rsync同步。但是rsync同步有弊端实时性差，耗费资源，占用系统性能。

大致过程描述和说明：
当client访问web server（nginx）请求数据，nginx处理请求（分发），第一次请求会被分到A主机，第二次请求就会被分到B主机，A和B可以是java应用服务器也可以是php应用服务器或者是web服务器都可以（返回请求数据的应用服务器）。如果是A，会从A本地读取数据或者写入数据。但是如果client一个星期后再次访问就有可能被分到B，这时就会出问题，因为B上面没有A上面的数据。

解决办法有很多种，使用存储是最好解决方案：

1.使用IBM dell 等硬件存储服务器。（有钱就用，相对来说没啥缺点）
2.使用 rsync 同步。             （如果数据库不太重要，不要求实时性的可以使用）
3.使用nfs mfs 等共享磁盘        （存在单点故障）
4.使用ha+nfs+drbd 最好的解决方案 （完美解决方案）

说明：
ha  nfs   drbd  
ha用做vip  #使用heartbeat软件，对外提供一个虚拟ip。
nfs做共享  #nfs服务 很简单很好配置的软件，然后由heartbeat来控制nfs服务。
drbd做最底层的数据库同步效率很快   #用于主机间数据块的同步，实时同步。drbd可以自己配置主从，但是nfs必须跟drbd master在一起。最终也由heartbeat控制。


其实这个地方少了个一个监控机制，heartbeat无法监控到nfs和drbd服务（可以考虑使用heartbeat的crm工具），如果再加上监控机制那就真的完美了。

 

 

作者：消失的光年

日期：2012/08/03

 

 

具体操作步骤：

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

 

系统ubuntu 8.0.4

 

 

Server1=192.168.1.10

Server2=192.168.1.11

Vip=192.168.1.100

 

 

 

1.   安装

 

apt-get install heartbeat

apt-get install drbd8-utils

apt-get install nfs-kernel-server

 

2.   配置drbd

 

1）磁盘配置

+++++++++++++++++++++++++++++++++++++++++

添加一块磁盘  /sdb

fdisk /dev/sdb

n      #新建分区

P      #定义为主分区

1      #分区号

回车   #选择设备开始的节点号 默认就行

回车   #选择设备结束的节点号 默认就行

w      #保存退出

partprobe /dev/sdb    重新读取分区信息

%注意千万不要使用mkfs 命令格式化磁盘分区，现在还有没有drbd设备，文件系统要建立在drbd设备上面%

 

第二台服务器上面做同样的操作

+++++++++++++++++++++++++++++++++++++++++

 

2）修改主机名

+++++++++++++++++++++++++++++++++++++++++++

 

hostname server1                           #执行hostname命令实现临时修改主机名

echo "server1" > /etc/hostname                #修改主机名配置文件实现永久修改主机名

 

vim /etc/hosts            #增加hosts主机名解析条目，后面的drbd.conf配置文件会用到

192.168.1.10 server1

192.168.1.11 server2

 

第二台服务器上面做同样的操作

+++++++++++++++++++++++++++++++++++++++++++

 

3）drbd配置文件

+++++++++++++++++++++++++++++++++++++++++++++++++

cat /etc/drbd.conf 

 global { usage-count no; }

       common { syncer { rate 100M; } }

       resource drbdtest {

            protocol C; 

            startup { 

                 wfc-timeout 600;

                 degr-wfc-timeout 120; 

            }

 

            disk { 

                 on-io-error   detach; 

            }

            net { 

                 timeout 30;

                 connect-int 4;

                 ping-int 4;

                 max-buffers 2048;

                 max-epoch-size 2048;

                 ko-count 0;

                 #on-disconnect reconnect;

                 cram-hmac-alg sha1;

                 shared-secret "FooFunFactory";

                 after-sb-0pri discard-zero-changes;

                 after-sb-1pri discard-secondary;

                 after-sb-2pri disconnect;

           } 

           syncer { 

                 rate 100M; 

           }

 

            on server1 {

                 device    /dev/drbd0;

                 disk      /dev/sdb1;

                 address   192.168.1.10:7898;

                 meta-disk  internal;

            }

            on server2 {

                 device    /dev/drbd0;

                 disk      /dev/sdb1;

                 address   192.168.1.11:7898;

                 meta-disk  internal;

            }

       }

以上是drbd.conf 在/etc下面  可以直接拷贝过去使用

第二台服务器上面做同样的操作

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

 

4）创建drbd存储设备

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

drbdadm create-md drbdtest    #如果执行第一遍不成功，就再执行一次。选择yes回车就行

/etc/init.d/drbd start

/etc/init.d/drbd status          #查看drbd状态

drbdsetup /dev/drbd0 primary -o  #强制为主

mkfs.ext3 /dev/drbd0           #格式化磁盘（必须强制为主后才可以执行格式化命令）

mkdir /nfs

mount /dev/drbd0 /nfs        

测试下

 

在做第二台服务器的时候要先停掉第一台服务器上面drbd服务，再强制第二台服务器为主，然后才能格式化磁盘

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

 

3. 配置heartbeat

 

1）/etc/ha.d/ha.cf配置文件

+++++++++++++++++++++++++++++++++++++++++++++++++++++++

root@tc-nfs1:/home# cat /etc/ha.d/ha.cf 

 

logfile /var/log/ha-log

keepalive 2

deadtime 10

warntime 5

initdead 120

udpport 694

bcast eth0

ucast eth0 192.168.1.11

auto_failback off

node server1

node server2

ping 192.168.1.254

respawn hacluster /usr/lib/heartbeat/ipfail

apiauth ipfail gid=haclient uid=hacluste

 

 

 

 

#####配置文件ha.cf解析########

    keepalive 2    //保持时间
    deadtime 10    //死亡时间
    warntime 5    //警告时间
    initdead 120   //启动时间
    udpport 694    //使用udp的端口
    bcast eth0     //心跳接口
    logfile /var/log/ha-log  //日志文件
    auto_failback on  //失败自动退回
    node node1.a.org  //节点对应的主机名，这里面要写所有的
    node node2.a.org  

 

 

 

 

2）haresources配置内容;

 

server1 IPaddr::192.168.1.10024/eth0 drbddisk::drbdnfs Filesystem::/dev/drbd0::/data::ext3 

 

 

3)authkeys的配置内容：

cat /etc/ha.d/authkeys

auth 1

1 sha1 sss

###解析#####
    1 sha1 jlasdlfladddd //这个后面的密码可以随意写，也可以使用自动生成随机数（#dd if=/dev/urandom bs=512 count=1 |md5sum ）的方式来生成，但是节点之间是一样的

 

 

 

 

 

 

 

 

4.配置nfs服务

 

1）nfs配置文件

 

cat /etc/exports

/data   *(rw,sync,no_root_squash,subtree_check)

 

2) 启动nfs服务

/etc/init.d/nfs-kernel-server start

 

 

 

5. 验证