mongodb shard zones

最新推荐文章于 2021-03-14 14:46:10 发布
最新推荐文章于 2021-03-14 14:46:10 发布
阅读量531 收藏
点赞数
分类专栏： mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skillfulit/article/details/109533223
版权

mongo shard zones

准备工作

系统域名配置

[root@localhost shd]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.3.234 cfg1 
192.168.3.235 cfg2 
192.168.3.236 cfg3 

192.168.3.234 shd1
192.168.3.235 shd2 
192.168.3.236 shd3

相关目录

 mkdir -p datadir/shard0000
 mkdir -p logdir/shard0000
 touch logdir/shard0000/shard0000.log 
 
 mkdir -p datadir/shard0001
 mkdir -p logdir/shard0001
 touch logdir/shard0001/shard0001.log

 mkdir -p datadir/shard0002
 mkdir -p logdir/shard0002
 touch logdir/shard0002/shard0002.log

配置文件

shard0000.cnf
[root@localhost shd]# cat shard0000.cnf 
port=27020

dbpath=/usr/local/mongodb/datadir/shard0000/

logpath=/usr/local/mongodb/logdir/shard0000/shard0000.log

fork=true

logappend=true

bind_ip=localhost,shd3

replSet=shard0000

directoryperdb=true

shardsvr=1
shard0001.cnf
[root@localhost shd]# cat shard0001.cnf 
port=27021

dbpath=/usr/local/mongodb/datadir/shard0001/

logpath=/usr/local/mongodb/logdir/shard0001/shard0001.log

fork=true

logappend=true

bind_ip=localhost,shd3

replSet=shard0001

directoryperdb=true

shardsvr=1
shard0002.cnf
[root@localhost shd]# cat shard0002.cnf 
port=27022

dbpath=/usr/local/mongodb/datadir/shard0002/

logpath=/usr/local/mongodb/logdir/shard0002/shard0002.log

fork=true

logappend=true

bind_ip=localhost,shd3

replSet=shard0002

directoryperdb=true

shardsvr=1

配置shard replica set

shard0000
mongo -port 27020

rs.initiate(
  {
    _id : "shard0000",
    members: [
      { _id : 0, host : "shd1:27020" },
      { _id : 1, host : "shd2:27020" },
      { _id : 2, host : "shd3:27020" }
    ]
  }
)
shard0001
mongo -port 27021

rs.initiate(
  {
    _id : "shard0001",
    members: [
      { _id : 0, host : "shd1:27021" },
      { _id : 1, host : "shd2:27021" },
      { _id : 2, host : "shd3:27021" }
    ]
  }
)
shard0002
mongo -port 27022

rs.initiate(
  {
    _id : "shard0002",
    members: [
      { _id : 0, host : "shd1:27022" },
      { _id : 1, host : "shd2:27022" },
      { _id : 2, host : "shd3:27022" }
    ]
  }
)

配制shard

mongo -port 27019

mongos> sh.addShard( "shard0000/shd1:27020,shd2:27020,shd3:27020")
{
	"shardAdded" : "shard0000",
	"ok" : 1,
	"operationTime" : Timestamp(1604646164, 5),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604646164, 5),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

mongos> 
mongos> sh.addShard( "shard0001/shd1:27021,shd2:27021,shd3:27021")
{
	"shardAdded" : "shard0001",
	"ok" : 1,
	"operationTime" : Timestamp(1604646275, 7),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604646275, 7),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}
mongos> 

mongos> 
mongos> sh.addShard( "shard0002/shd1:27022,shd2:27022,shd3:27022")
{
	"shardAdded" : "shard0002",
	"ok" : 1,
	"operationTime" : Timestamp(1604646370, 25),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604646370, 25),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

use config

mongos> db.shards.find()
{ "_id" : "repshd", "host" : "repshd/shd1:27018,shd2:27018,shd3:27018", "state" : 1 }
{ "_id" : "shard0000", "host" : "shard0000/shd1:27020,shd2:27020,shd3:27020", "state" : 1 }
{ "_id" : "shard0001", "host" : "shard0001/shd1:27021,shd2:27021,shd3:27021", "state" : 1 }
{ "_id" : "shard0002", "host" : "shard0002/shd1:27022,shd2:27022,shd3:27022", "state" : 1 }
mongos> 
mongos> 
mongos>

shard zones

增加zone

mongos> sh.addShardToZone("shard0000", "NYC")
{
	"ok" : 1,
	"operationTime" : Timestamp(1604646386, 4),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604646386, 4),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

mongos> sh.addShardToZone("shard0001", "NYC")
{
	"ok" : 1,
	"operationTime" : Timestamp(1604646386, 5),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604646386, 5),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

mongos> sh.addShardToZone("shard0002", "SFO")
{
	"ok" : 1,
	"operationTime" : Timestamp(1604646386, 6),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604646386, 6),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

mongos> sh.addShardToZone("shard0002", "NRT")
{
	"ok" : 1,
	"operationTime" : Timestamp(1604646387, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604646387, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}

验证zone

mongos> 
mongos> db.shards.find()
{ "_id" : "repshd", "host" : "repshd/shd1:27018,shd2:27018,shd3:27018", "state" : 1 }
{ "_id" : "shard0000", "host" : "shard0000/shd1:27020,shd2:27020,shd3:27020", "state" : 1, "tags" : [ "NYC" ] }
{ "_id" : "shard0001", "host" : "shard0001/shd1:27021,shd2:27021,shd3:27021", "state" : 1, "tags" : [ "NYC" ] }
{ "_id" : "shard0002", "host" : "shard0002/shd1:27022,shd2:27022,shd3:27022", "state" : 1, "tags" : [ "SFO", "NRT" ] }
mongos> 
mongos>

指定zone shard key值范围

mongos> sh.updateZoneKeyRange("records.users", { zipcode: "10001" }, { zipcode: "10281" }, "NYC")
35" }, "SFO"){
	"ok" : 1,
	"operationTime" : Timestamp(1604648215, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604648215, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}
mongos> sh.updateZoneKeyRange("records.users", { zipcode: "11201" }, { zipcode: "11240" }, "NYC")
{
	"ok" : 1,
	"operationTime" : Timestamp(1604648215, 2),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604648215, 2),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}
mongos> sh.updateZoneKeyRange("records.users", { zipcode: "94102" }, { zipcode: "94135" }, "SFO")
{
	"ok" : 1,
	"operationTime" : Timestamp(1604648216, 1),
	"$clusterTime" : {
		"clusterTime" : Timestamp(1604648216, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	}
}
mongos>

查看shard 状态

mongos> 
mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
  	"_id" : 1,
  	"minCompatibleVersion" : 5,
  	"currentVersion" : 6,
  	"clusterId" : ObjectId("5fa3773217003a6da928bcf8")
  }
  shards:
        {  "_id" : "repshd",  "host" : "repshd/shd1:27018,shd2:27018,shd3:27018",  "state" : 1 }
        {  "_id" : "shard0000",  "host" : "shard0000/shd1:27020,shd2:27020,shd3:27020",  "state" : 1,  "tags" : [ "NYC" ] }
        {  "_id" : "shard0001",  "host" : "shard0001/shd1:27021,shd2:27021,shd3:27021",  "state" : 1,  "tags" : [ "NYC" ] }
        {  "_id" : "shard0002",  "host" : "shard0002/shd1:27022,shd2:27022,shd3:27022",  "state" : 1,  "tags" : [ "SFO", "NRT" ] }
  active mongoses:
        "4.2.7" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                769 : Success
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
                config.system.sessions
                        shard key: { "_id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                repshd	256
                                shard0000	256
                                shard0001	256
                                shard0002	256
                        too many chunks to print, use verbose if you want to force print
        {  "_id" : "inventory",  "primary" : "repshd",  "partitioned" : true,  "version" : {  "uuid" : UUID("6cedc66f-91f0-41da-8bf5-ed72279bbd0e"),  "lastMod" : 1 } }
                inventory.products
                        shard key: { "prod_id" : "hashed" }
                        unique: false
                        balancing: true
                        chunks:
                                repshd	1
                                shard0000	1
                        { "prod_id" : { "$minKey" : 1 } } -->> { "prod_id" : NumberLong(0) } on : shard0000 Timestamp(2, 0) 
                        { "prod_id" : NumberLong(0) } -->> { "prod_id" : { "$maxKey" : 1 } } on : repshd Timestamp(2, 1) 

mongos> 
mongos>
skillfulit
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mongodb 集群shard_用了11个Docker容器，搭建出的最精简数据库分片集群
weixin_42298969的博客
12-24 262
目前MongoDB官网推荐的集群方式，主要有两种：Replication(复制)和Sharding(分片)。他们的具体实现分别是 ReplicaSet(副本集)和 Sharded Cluster(分片集群)。在实际生产中，分片集群使用更加广泛，所以本文也主要讲解 Sharded Cluster(分片集群)的搭建过程。下图是MongoDB官网推荐的分片集群架构。按照官网要求，分片集群需要三种角色：S...
mongodb指南（十） - developer zone - 集合
星河的专栏
12-07 1989
mongodb集合实质上就是一组文档的名称。你可以认为它们大体上等同于关系型数据库中的表。 概述 一个mongodb集合是一个BSON格式文档的集合。这些文档通常有着相同的结构，但是这并不是必须的，因为mongodb是模式自由（或者更准确的说，“动态模式”）的数据库。你可以在同一个集合内存储多种多样的文档，而且你不需要预先定义集合的“列”或者字段。   一个集合在第一个文档插入时创建。
mongodb指南（翻译）（四） - developer zone - 教程
weixin_30376083的博客
11-28 111
运行mongodb 请参与快速启动指南来启动mongodb。 连接到数据库 首先使用数据库shell程序来操作数据库。（我们同样可以使用任何语言的驱动来做类似的操作。shell程序可以很方便的进行交互和管理。） 这样启动mongodb JavaScript shell: view plain #'mongo'isshellbinary.exactloc...
mongodb shard 分片
程序猿进化史
10-12 553
//允许分片 sh.enableShard("test"); //指定分片片键 //parma1：集合全名，parma2：片键，与创建索引一样 sh.shardCollection("test.collection",{_id:1}) //指定要在哪个片键值处分片，切分点 //parma2：指定片键的切分点 sh.splitAt("test.collcection",{_id:"middle"})
mongo tddl mysql_MongoDB 3.4 shard 分片
weixin_42525637的博客
01-27 86
数据压力大到机器支撑不了的时候能否做到自动扩展？在系统早期，数据量还小的时候不会引起太大的问题，但是随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而MongoDB主打的就是海量数据架构，他不能解决海量数据怎么行！不行！“分片”就用这个来解决这个问题。传统数据库怎么做海量数据读写？其实一句话概括：分而治之。上图看看就清楚了，如下 taobao岳旭强在infoq中提到的 架构图：上图中有个...
[mongodb]shard cluster（分片集群）搭建实录
集成显卡的开源主页 https://github.com/0604hx
06-28 8973
mongodb集群搭建实例
Mongodb shard 简介
11-03
"Mongodb shard 简介" MongoDB shard 是一种水平方向的多节点数据分散存储技术，它可以将大量数据分布到多个服务器上，以提高数据库的存储能力和查询效率。下面是 MongoDB shard 的一些特性和部署架构： Shard 的...
Mongodb增加、移除Shard Server实例
09-10
在 MongoDB 中，Shard 服务器是实际存储数据的单元。每个 Shard 可以是一个单独的 mongod 实例，也可以是一个由多个 mongod 实例组成的副本集（Replica Set），以提供数据冗余和高可用性。副本集中的每个成员都可以...
kubernetes-mongodb-shard:在kubernetes上部署mongodb分片集群
05-08
kubernetes-mongodb分片 在kubernetes上部署mongodb分片集群。 这适用于最少具有3个节点的小型集群和具有100多个节点的大型集群。 先决条件 具有至少3个可调度节点的Kubernetes集群。 Kubernetes v1.2.3或更高版本 ...
mongodb7.0.0安装包
最新发布
09-04
MongoDB是一款开源、高性能、无模式的分布式文档型数据库，被广泛应用于Web应用程序、内容管理系统、数据存储等场景。此“mongodb7.0.0安装包”是针对Windows 64位操作系统的一个版本，适用于需要在Windows环境中...
MongoDB sharding 算法
Dean Chen的专栏
07-19 2576
主要是两种，一种是用数值进行范围划分，一种是hash，有点类似于memcached集群机制。下表对比了优缺点sharding算法范围查询性能数据分布ranged based强, 容易集中在一个shard上的多个chunks不均匀, 影响scale outhash based一般，需要查询多个shard才能获得结果均匀MongoDB还提供了可以自定义算法的机制，叫做tag aware shardin
mongodb分片(sharding)搭建、应用及管理
数据库生态圈（RDB & NoSQL & Bigdata）——专注于关系库优化（Oracle&Mysql&PG&SQL Server ）
01-10 487
1.启动shard server # mkdir -p /data/shard/s0 # mkdir -p /data/shard/s1 # mkdir -p /data/shard/log # cd /usr/local/mongodb/bin # ./mongod --shardsvr --port 20000 --dbpath /data/shard/s0 --fork --logpath...
mongodb 集群shard_MongoDB分片集群部署详解
weixin_39970369的博客
12-18 436
一、环境说明1、我们prod环境MongoDB的集群架构是做的分片集群的部署，但是目前我们没有分片，即所有数据都在一个分片上，后期如果数量大，需要分配，集群随时可以分片，对业务方透明2、各个角色的部署情况角色IP端口复制集名称mongos172.21.244.101，172.21.244.102，172.21.244.9427000无config server172.21.244.101，172....
mongodb 使用
keithzone的博客
08-10 732
    ★：             了解、可以明确描述内容 ★★：          熟悉、工作中经常会用到 ★★★：      必背、面试中经常会问到 MongoDB概念与环境安装 什么是MongoDB？  ★ MongoDB 是一个基于分布式文件存储的NoSQL数据库。 由C++语言编写，运行稳定，性能高，旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 M...
mongoDB 介绍
gtfaww的博客
01-27 222
Introduction to MongoDB On this page Document DatabaseKey Features MongoDB 是一个具备高性能、高可用性、自动扩展的开源文档数据库。 文档数据库 一条记录在MongoDB中是一个数据结构为field 和value 对的文档。MongoDB 文档类似于jSON对象。values可能是
mongodb 查询数据库状态
积跬步至千里
06-05 1917
db.stats(); db.collectionName.stats(); 查询数据库各表状态 var collectionNames = db.getCollectionNames(); collectionNames.forEach(function(collection) { var stats = db.getCollection(collection).stats(...
mongodb 基本原理：分片（Sharding）
guangyacyb的博客
02-16 4644
分片是将数据分布在多台机器的方法。MongoDB 使用分片来提供海量数据的部署和高吞吐操作 . 这种数据库系统可以挑战单服务器的最高容量，例如高频率的查询可以将服务器的cpu容量发挥到极致。超出系统内存的数据集则会充分调用磁盘的IO。 面对系统扩充有两种方法：垂直扩展和水平扩展 垂直扩展 提高单台服务器的容量，例如使用更强的cpu，加内存，存储空间。技术的局限限制了单台机器面对高负载的能...
mongodb指南（翻译）（二） - developer zone - 简介
weixin_30408165的博客
11-25 75
简介 mongodb是一个面向集合，模式灵活的文档型数据库。 所谓面向集合，是说数据被分组存储在被称作集合的数据集中。每个集合在数据库中都有一个唯一的标识名，并且可以包含无限数目的文档。集合的概念类似关系型数据库（RDBMS）里的表（table），不同的是它不需要定义任何模式。 所谓模式自由（schema-free)，是说对于存储在mongodb数据库中的文件，我们不需要知道它的任何结...
8.MongoDB之分片集群
热门推荐
mijichui2153的博客
03-14 1万+
一、mongodb分片与各角色与概念介绍 Mongodb的分片机制是mongodb数据库的核心机制，也是其可用性高，扩展性好的原因，分片—sharding 的意思就是将数据库数据分散存贮到不同的服务器上，来缓解高并发访问，均衡负载。举例来说一下，比如说一个collection有TB级别的数据，在传统方式下如果有两个线程要访问其中的数据，即使这个线程访问的数据是不同的，为保证同步需要排队等待，分片机制可以很好的解决这个问题，分片机制其实就是分布式的集群，比如现在有五台服务器作为集群，mongodb可以将一.
MongoDB集群扩展与管理指南
在设置MongoDB集群时，通常会包含三个主要组件：分片服务器（Shard Server）、路由进程（Mongos）和配置服务器（Config Server）。分片服务器存储实际的数据，路由进程处理客户端请求，分配数据到合适的分片，并管理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值