【12.19】mongodb（下）

21.36 mongodb分片介绍

• 分片就是将数据库进行拆分，将大型集合分隔到不同服务器上。比如，本来100G的数据，可以分割成10份存储到10台服务器上，这样每台机器只有 10G 的数据。
• 通过一个 mongos 的进程（路由）实现分片后的数据存储与访问，也就是说 mongos 是整个分片架构的核心，对客户端而言是不知道是否有分片的，客户端只需要把读写操作转达给 mongos 即可。
• 虽然分片会把数据分隔到很多台服务器上，但是每一个节点都是需要有一个备用角色的，这样能保证数据的高可用。
• 当系统需要更多空间或者资源的时候，分片可以让我们按需方便扩展，只需要把 mongodb 服务的机器加入到分片集群中即可

MongoDB 分片架构图：

MongoDB 分片相关概念：

• mongos: 数据库集群请求的入口，所有的请求都通过 mongos 进行协调，不需要在应用程序添加一个路由选择器，mongos 自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多 mongos 作为请求的入口，防止其中一个挂掉所有的 mongodb 请求都没有办法操作。
• config server: 配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos 本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos 第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！
• shard: 存储了一个集合部分数据的MongoDB实例，每个分片是单独的mongodb服务或者副本集，在生产环境中，所有的分片都应该是副本集。

21.37/21.38/21.39 mongodb分片搭建

1、准备
三台机器 A B C
A 搭建：mongos、config server、副本集 1 主节点、副本集 2 主节点、副本集 3 仲裁
B 搭建：mongos、config server、副本集 1 从节点、副本集 2 仲裁、副本集 3 从节点
C 搭建：mongos、config server、副本集 1 仲裁、副本集 2 从节点、副本集 3 主节点
端口分配：mongos 20000、config 21000、副本集1 27001、副本集2 27002、副本集3 27003
三台机器全部关闭 firewalld 和 selinux，或者增加对应端口的规则

2、三台机器上分别创建各角色所需要的目录

[root@arslinux-01 ~]# mkdir -p /data/mongodb/mongos/log
[root@arslinux-01 ~]# mkdir -p /data/mongodb/config/{data,log}
[root@arslinux-01 ~]# mkdir -p /data/mongodb/shard1/{data,log}
[root@arslinux-01 ~]# mkdir -p /data/mongodb/shard2/{data,log}
[root@arslinux-01 ~]# mkdir -p /data/mongodb/shard3/{data,log}

3、分片搭建——config server 配置
1）对 config sever 创建副本集，添加配置文件（三台机器都要操作，ip 要改）

[root@arslinux-01 ~]# mkdir /etc/mongod/
[root@arslinux-01 ~]# vim /etc/mongod/config.conf
pidfilepath = /var/run/mongodb/configsrv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/congigsrv.log
logappend = true
bind_ip = 192.168.194.130
port = 21000
fork = true
configsvr = true 		#表示这是一个config server
replSet=configs 		#副本集名称
maxConns=20000 		#设置最大连接数

2）、分别启动三台机器 config server

[root@arslinux-01 ~]# mongod -f /etc/mongod/config.conf 
about to fork child process, waiting until server is ready for connections.
forked process: 15501
child process started successfully, parent exiting

3）、登录任意一台机器的21000端口，初始化副本集

[root@arslinux-01 ~]# mongo --host 192.168.194.130 --port 21000
MongoDB shell version v3.4.21
connecting to: mongodb://192.168.194.130:21000/
MongoDB server version: 3.4.21
Server has startup warnings: 
2019-12-19T10:45:47.344+0800 I CONTROL  [initandlisten] 
2019-12-19T10:45:47.344+0800 I CONTROL  [initandlisten] ** WARNING: Access control is not enabled for the database.
2019-12-19T10:45:47.344+0800 I CONTROL  [initandlisten] **          Read and write access to data and configuration is unrestricted.
2019-12-19T10:45:47.344+0800 I CONTROL  [initandlisten] ** WARNING: You are running this process as the root user, which is not recommended.
2019-12-19T10:45:47.344+0800 I CONTROL  [initandlisten] 
2019-12-19T10:45:47.345+0800 I CONTROL  [initandlisten] 
2019-12-19T10:45:47.345+0800 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
2019-12-19T10:45:47.345+0800 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2019-12-19T10:45:47.345+0800 I CONTROL  [initandlisten] 
2019-12-19T10:45:47.345+0800 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.
2019-12-19T10:45:47.345+0800 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2019-12-19T10:45:47.345+0800 I CONTROL  [initandlisten] 
> config={
   _id:"configs",members:[{
   _id:0,host:"192.168.194.130:21000"},{
   _id:1,host:"192.168.194.132:21000"},{
   _id:2,host:"192.168.194.133:21000"}]}
{
   
	"_id" : "configs",
	"members" : [
		{
   
			"_id" : 0,
			"host" : "192.168.194.130:21000"
		},
		{
   
			"_id" : 1,
			"host" : "192.168.194.132:21000"
		},
		{
   
			"_id" : 2,
			"host" : "192.168.194.133:21000"
		}
	]
}
> rs.initiate(config)
{
    "ok" : 1 }
rs.status()
{
   
	"set" : "configs",
	"date" : ISODate("2019-12-19T02:53:52.177Z"),
	"myState" : 1,
	"term" : NumberLong(1),
	"syncingTo" : "",
	"syncSourceHost" : "",
	"syncSourceId" : -1,
	"configsvr" : true,
	"heartbeatIntervalMillis" : NumberLong(2000),
	"optimes" : {
   
		"lastCommittedOpTime" : {
   
			"ts" : Timestamp(1563677627, 1),
			"t" : NumberLong(1)
		},
		"readConcernMajorityOpTime" : {
   
			"ts" : Timestamp(1563677627, 1),
			"t" : NumberLong(1)
		},
		"appliedOpTime" : {
   
			"ts" : Timestamp(1563677627, 1),
			"t" : NumberLong(1)
		},
		"durableOpTime" : {
   
			"ts" : Timestamp(1563677627, 1),
			"t" : NumberLong(1)
		}
	},
	"members" : [
		{
   
			"_id" : 0,
			"name" : "192.168.194.130:21000",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY",
			"uptime" : 486,
			"optime"