mongodb副本集和分片

1.mongodb副本集概念

mongodb的复制至少需要两个节点。其中一个是主节点，负责数据库写操作，其余的都是从节点，负责复制主节点上的数据以及可以进行读操作。

mongodb各个节点常见的搭配方式为：一主一从、一主多从。

主节点记录在其上的所有操作oplog，从节点定期轮询主节点获取这些操作，然后对自己的数据副本执行这些操作，从而保证从节点的数据与主节点一致。

mongodb在副本集中可以有arbiter节点,arbiter节点主要负责选举主节点,本身不存储数据

mongodb副本集如果正常工作至少需要n/2+1个节点存活,n/2是向下取整数

1.1.mongodb副本集搭建

现在搭建含有3个mongodb节点的副本集,一个主节点、一个从节点、一个arbiter节点,主要参数如下:

--dbpath   数据文件路径

--logpath  日志文件路径

--port        端口号，默认是27017.我这里使用的也是这个端口号.

--replSet   复制集的名字，一个replica sets中的每个节点的这个参数都要用一个复制集名字

--maxConns   最大连接数

--fork       后台运行

--logappend   日志文件循环使用，如果日志文件已满，那么新日志覆盖最久日志。

1.1.1 启动mongodb节点1

mongod.exe --port 27017 --dbpath D:\work\mongodb\1 --replSet test --logpath D:\work\mongodb\1\log1\log.txt --logappend

1.1.2 启动mongodb节点2

mongod.exe --port 27018 --dbpath D:\work\mongodb\2 --replSet test --logpath D:\work\mongodb\2\log2\log.txt --logappend

1.1.3 启动mongodb节点3

mongod.exe --port 27019 --dbpath D:\work\mongodb\3 --replSet test --logpath D:\work\mongodb\3\log3\log.txt --logappend

1.1.4 集群节点配置

step1:mongo.exe 连接到mongod服务器

step2:假设hosts中配置了当前的ip指向的host为zhq.test.com

rs.initiate()

rs.add("zhq.test.com:27018")

rs.addArb("zhq.test.com:27019")

rs.status()就可以查看副本集状态

2.mongodb分片的概念

当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量，或许一个主节点不能提供足够的写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据，使用分片的结构如下:

Shard:用于存储真实的分片数据,每个分片可以使用一个副本集来作为一个集群冗余存储数据

Config Server: mongod实例，存储了整个集群的元数据

Router:路由服务,应用服务器通过接入路由服务就可以使用mongodb的分片功能

2.1 建立两个mongodb复制集

按照那个步骤我们建立test和test1复制集,不同的是需要添加--shardsvr参数:

2.1.1 启动test和test1集群的mongodb节点1

mongod.exe --port 27017 --dbpath D:\work\mongodb\1 --replSet test --logpath D:\work\mongodb\1\log1\log.txt --logappend --shardsvr

mongod.exe --port 27020 --dbpath D:\work\mongodb\4 --replSet test1 --logpath D:\work\mongodb\4\log4\log.txt --logappend --shardsvr

2.1.2 启动test和test1集群的mongodb节点2

mongod.exe --port 27018 --dbpath D:\work\mongodb\2 --replSet test --logpath D:\work\mongodb\2\log2\log.txt --logappend --shardsvr

mongod.exe --port 27021 --dbpath D:\work\mongodb\5 --replSet test1 --logpath D:\work\mongodb\5\log5\log.txt --logappend --shardsvr

2.1.3 启动test和test1集群的mongodb节点3

mongod.exe --port 27019 --dbpath D:\work\mongodb\3 --replSet test --logpath D:\work\mongodb\3\log3\log.txt --logappend --shardsvr

mongod.exe --port 27022 --dbpath D:\work\mongodb\6 --replSet test1 --logpath D:\work\mongodb\6\log6\log.txt --logappend --shardsvr

2.1.4 集群节点配置

step1:mongo.exe --port 27020连接到mongod服务器

step2:假设hosts中配置了当前的ip指向的host为zhq.test.com

rs.initiate()

rs.add("zhq.test.com:27021")

rs.addArb("zhq.test.com:27022")

rs.status()就可以查看副本集状态

2.2 建立两个mongodb config server组成的集群(这个是按照mongodb3.2版本来的,mongodb3.0以下版本只需要启动两个mongod节点,不需要建立集群)

mongod.exe --port 27023 --dbpath D:\work\mongodb\config1 --logpath D:\work\mongodb\config1\config.log --logappend --replSet config --configsvr

mongod.exe --port 27024 --dbpath D:\work\mongodb\config2 --logpath D:\work\mongodb\config2\config.log --logappend --replSet config --configsvr

mongo.exe --port 27023连接到mongod服务器

假设hosts中配置了当前的ip指向的host为zhq.test.com

rs.initiate()

rs.add("zhq.test.com:27024")

rs.status()就可以查看副本集状态

2.3 建立两个mongos节点

mongos.exe --port 27025 --configdb config/zhq.test.com:27024,zhq.test.com:27023 --fork --logpath D:\work\mongodb\route1\route.log

mongos.exe --port 27026 --configdb config/zhq.test.com:27024,zhq.test.com:27023 --fork --logpath D:\work\mongodb\route2\route.log

2.4 连接一个mongos节点并配置分片(只需要连接一个mongos添加这些配置即可,其他的mongos的配置会通过config server自动同步过去)

mongo.exe --port 27025

db.runCommand({addshard:"test/zhq.test.com:27017,zhq.test.com:27018,zhq.test.com:27019"})//添加分片1集群

db.runCommand({addshard:"test1/zhq.test.com:27020,zhq.test.com:27021,zhq.test.com:27022"})//添加分片2集群

db.runCommand({ enablesharding:"test" }) //设置分片的数据库

db.runCommand({ shardcollection: "test.log", key: { title:1}})//设置使用表log的字段title进行分片

sh.status({verbose:true})可以查看当前分片的状态

2.5 如何选择分片字段

a.每条记录必须要包含分片的字段,分片字段设置之后,mongodb会自动为该字段建立索引

a.分片字段需要拥有很多不同的值。 便于数据的切分和迁移

b.分片字段要和应用程序相结合,便于应用程序查询的时候尽量查询到一个分片上去,不需要多个分片组合结果

c.分片字段的值要尽量的分散、随机,这样在插入数据的时候可以插入到不同的分片中去,避免造成一个分片压力过大

 

转载于:https://my.oschina.net/seektechnology/blog/870316