MongoDB 副本集及其工作原理

一、工作原理

1.   MongoDB 2.6版本开始推荐使用副本集,对主从复制已经不再推荐.

2.   副本集至少需要3个, 可以3个全部做副本集, 也可以让其中一个做仲裁.

3.   副本集中只有1台主才能进行写,其余的只能读.

4.   副本集之间的复制是通过oplog日志现实的.备份节点通过查询这个集合就可以知道需要进行复制的操作.

5.   oplog是节点中local库中的一个固定的集合,在默认情况下oplog初始化大小为空闲磁盘的5%.oplog是capped collection,所以当oplog的空间被占满时,会覆盖最初写入的日志.

6.   通过改变oplog文档的大小直接改变local所占磁盘空间的大小.可以在配置文件中设置oplogSize参数来指定oplog文档的大小,例如oplogSize=1024单位默认为M  每个local文档在磁盘空间的空间都为2G,设置不足2G的,初始化依然为2G大小,例如上面oplogSize=1024,但创建的local.01大小依然为2G.

7.   如果备份节点不幸挂掉,由于复制过程中是先写数据,再写oplog,这样重新启动时,可能会重复复制操作.但MongoDB在设计过程中已经考虑过这个问题.当 oplog中同一个操作执行多次的时候,只执行一次.

8.   初始化工作.

a)   备份找到一个同步的主节点,然后再到local.me中创建一个标识符.开始同步的过程中,需要清空备节点的所有数据库(版本:2.6.7).

b)  通过oplog中的操作记录,把数据复制在备份节点.

c)   完全同步时开始创建索引.

9.   如果备节点的同步速度远远跟不上主节点的oplog写入的数据,并且主节点的oplog被覆盖.这样,可能就无法同步那些被覆盖的数据(出现这种情况,暂时还无法解决,只能通过备份主节点的数据,然后再重新同步).

10. 每个成员通过心跳去查看其他节点的状态,每隔2秒钟就有一次心跳检测.

11. 当主节点宕机之后,各个节点通过选举的方式来选择下一个主节点.

二、安装方法

1.   3台机器上分别装上MongDB 服务.

      192.168.10.21:27017  (备)

      192.168.10.26:27017  (备)

      192.168.10.27:27018  (主)

2.   设置密码认证文件.

      可以使用grub-md5-crypt生成加密文件.

     

      把生成的密文放到一个文件中.并且3台机器要有相同的密文.

      这里把密文放到mongodb主目录下的mongod_key文件中.

3.   3个mongo分别设置自己admin库的登录权限.

      这个具体方法可以略掉.

4.   配置mongo.conf文件.

     192.168.10.27 (主)的配置文件

     

     192.168.10.21 (备)的配置文件

     

     192.168.10.26 (备)的配置文件

      

      

5.  关闭每台机器的防火墙

/etc/init.d/iptables  stop

 

6.  启动每台机器上的mongodb

 

7.  在主机上进行初始化工作,一般在哪台机器上初始化,主就是哪台机器.但是,也可以用权重来控制哪台为主.

    config_repl={_id:'alex',members:[

    {_id:0,host:'192.168.10.27:27018',priority:10},

    {_id:1,host:'192.168.10.26:27017',priority:9},

    {_id:2,host:'192.168.10.21:27017',priority:9}]}

    这里的priority越大,主就是哪一台

     然后执行rs.initiate(config_repl); 

     这时副本集已经配置完成.

     可以用rs.status() 查看各个节点状态.

以我的理解,查看备库同步到主库的什么位置,可以通过optime来看

8.    设置副本集后,备节点默认是不能读数据的,但可以设置rs.slaveOk().

     但只对当前session有效.

     如果用程序去连接,实现读写分离.例如JAVA有相应的方法和参数去达到这一点

9.    切换主-备. (192.168.10.26 提升为主)

     rs.conf()    # 查看配置

     执行:

    cfg=rs.conf();

    cfg.members[1] = 11    # 把id为1的主机priority改为11

    rs.reconfig(cfg)

10.  查看同步状态.

       上面第9步操作使192.168.10.26升级成为主了.

       db.printSlaveReplicationInfo();

       再执行

      use local

      db.oplog.rs.find();

      可以查看到同步的语句.

{ "ts" : Timestamp(1448257041, 1), "h" : NumberLong("-1393509695161116878"), "v" : 2, "op" : "i", "ns" : "bbbb.test1", "o" : { "_id" : ObjectId("5652a6116894d5b1bcd83dd2"), "a" : 111 } }

      

     含义解释如下:

ts: 8字节的时间戳，由4字节unix timestamp + 4字节自增计数表示。这个值很重要，在选举(如master宕机时)新primary时，会选择ts最大的那个secondary作为新primary
op：1字节的操作类型
i ：insert
u ：update
d ：delete
c ：db cmd
db：声明当前数据库 (其中ns 被设置成为=>数据库名称+ '.')
n : no op,即空操作，其会定期执行以确保时效性
ns：操作所在的namespace
o ：操作所对应的document，即当前操作的内容（比如更新操作时要更新的的字段和值）
o2: 在执行更新操作时的where条件，仅限于update时才有该属性