MongoDB学习笔记——分片（Sharding）

最新推荐文章于 2024-07-23 14:05:29 发布
最新推荐文章于 2024-07-23 14:05:29 发布
阅读量89 收藏
点赞数
文章标签： 数据库 运维 前端 ViewUI
原文链接：http://www.cnblogs.com/AlvinLee/p/6117091.html
版权

分片（Sharding）

分片就是将数据进行拆分，并将其分别存储在不同的服务器上 MongoDB支持自动分片能够自动处理数据在分片上的分布

MongoDB分片有三种角色

  • 配置服务器：一个单独的mongod进程，主要记录了哪个分片服务器包含了哪些数据的信息，保存的只是数据的分布表，如果配置服务器不可用时，将变为只读，不能进行分片和数据迁移， 配置服务器的1KB空间相当于真实数据的200MB，所以配置服务器不需要太多的资源和配置。但是每个配置服务器都建议部署在不同的物理机上， 配置服务器相当于整个集群的大脑保存了集群和分片的元数据，并且mongos路由服务器需要从配置服务器获取配置信息， 因此应该首先建立配置服务器，并且启用日志功能。自3.2开始配置服务器可以部署为副本集。 使用副本集作为配置服务器时要满足以下条件：
    • 使用的副本集的配置服务器分片集群要超过 3 配置服务器，因为副本集可以有最多 50 个成员
    • 要将配置服务器部署为副本集，配置服务器必须运行 WiredTiger 存储引擎
    • 配置服务器部署为副本集时必须要没有仲裁者
    • 配置服务器为副本集时不能存在延迟节点slaveDelay不能为0
    • 必须建立的索引 （即没有成员应该有 buildIndexes 设置为 false）
  • 路由服务器：mongos进程，起到一个前端路由的功能，供客户端进行接入，本身不会保存数据，在启动时从配置服务器加载集群信息，所以配置路由服务器时，不需要指定数据目录，开启mongos进程需要知道配置服务器的地址，指定configdb选项。 当客户端连接到路由服务器时，会询问配置服务器需要到哪个分片服务器上查询或保存记录，然后再链接相应的Shard进行操作，最后将结果整合给返回给客户端
  • 分片服务器：可以是一个副本集或单独的mongod进程，保存分片后的集合数据

块(chunk)

MongoDB将数据拆分为chunk，每个chunk都是collection中的一段连续的数据记录，为防止一个chunk变的越来越大，当一个chunk增加到特定大小时，会被自动拆分为两个较小的chunk。默认块大小为64M 新的分片集合刚开始只有一个chunk，所有文档都位于这个chunk中，块的范围是$minKey至$maxKey。随着数据的增加会被拆分为多个块，块的范围也会逐步被调整，多使用[a,b)表示区间范围

均衡器(balancer)

均衡器周期性的检查每个分片之间的数据是否存在不均衡情况，如果存在，就会进行块的迁移。

片键

对集合进行分片时，需要选择一个或多个字段用于数据拆分。 拆分数据最常用的数据分发方式有三种，升序片键，随机分发的片键，小基数片键。

  • 升序片键： 升序片键会导致所有数据总是被添加到最后一个数据块中，导致存在一个单一不可分散的人点，用一个分片承担了所有的读写。
  • 随机分发片键： 这种分片虽然可以得到一组均匀分布于各分片的数据块。但是考虑到数据序列的随机性，一般情况下这个数据不会被加载到内存中，所以此时的MongoDB会引发大量的磁盘IO 给RAM带来更大压力，并且由于片键必须有索引，所以如果选择了不依据它进行查询的随机键，基本浪费了一个索引，导致MongoDB写操作变慢。
  • 小基数片键： 即片键值个数有限的键，这种片键容易导致块的个数有限，并且导致块的体积越来越大。

建议使用准升序键加搜索键的组合片键 升序片键最好能够对应N多个数据块，搜索键则应当是通常用来查询的字段，搜索键不能是一个升序字段，这样会把片键降级为一个升序片键，应该具有非升序，分布随即，且基数适当的特点

注意：

  • 片键上必须有索引，因此如果选择了从不依据索引查询的随机键，基本上可以说浪费了一个索引，另一方面索引的增加会降低写操作的速度，所以降低索引量也是非常必要的。
  • 片键不可以是数组
  • 应该选择不会被改变或很少发生变动的字段作为片键，因为文档一旦插入，正则片键值就无法在进行修改了，如果要修改则必须先删除在进行修改

部署分片集群

1.创建配置服务器：

// config 1

systemLog:

path: D:\mongodb\sharding\config\c0\logs\mongodb.log

logAppend: true

destination: file

storage:

dbPath: D:\mongodb\sharding\config\c0\data

net:

port: 27020

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\config\c0\key

sharding:

clusterRole: configsvr

// config 2

systemLog:

path: D:\mongodb\sharding\config\c1\logs\mongodb.log

logAppend: true

destination: file

storage:

dbPath: D:\mongodb\sharding\config\c1\data

net:

port: 27021

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\config\c1\key

sharding:

clusterRole: configsvr

//config 3

systemLog:

path: D:\mongodb\sharding\config\c2\logs\mongodb.log

logAppend: true

destination: file

storage:

dbPath: D:\mongodb\sharding\config\c2\data

net:

port: 27022

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\config\c2\key

sharding:

clusterRole: configsvr

启动以上三个配置服务器

mongod -config D:\mongodb\sharding\config\c0\mongodb.conf

mongod -config D:\mongodb\sharding\config\c1\mongodb.conf

mongod -config D:\mongodb\sharding\config\c2\mongodb.conf

配置路由服务器

//route 1

systemLog:

path: D:\mongodb\sharding\route\r0\logs\mongodb.log

logAppend: true

destination: file

net:

port: 27020

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\route\r0\key

sharding:

autoSplit: true

configDB: 127.0.0.1:27010,127.0.0.1:27011,127.0.0.1:27012

chunkSize: 64

//route 2

systemLog:

path: D:\mongodb\sharding\route\r1\logs\mongodb.log

logAppend: true

destination: file

net:

port: 27021

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\route\r1\key

sharding:

autoSplit: true

configDB: 127.0.0.1:27010,127.0.0.1:27011,127.0.0.1:27012

chunkSize: 64

启动以上两个路由服务器

mongos -config D:\mongodb\sharding\route\r1\mongodb.conf

mongos -config D:\mongodb\sharding\route\r1\mongodb.conf

配置分片服务器

//shard 1

systemLog:

path: D:\mongodb\sharding\shards\s0\logs\mongodb.log

logAppend: true

destination: file

storage:

dbPath: D:\mongodb\sharding\shards\s0\data

net:

port: 27030

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\shards\s0\key

sharding:

clusterRole: shardsvr

//shard 2

systemLog:

path: D:\mongodb\sharding\shards\s1\logs\mongodb.log

logAppend: true

destination: file

storage:

dbPath: D:\mongodb\sharding\shards\s1\data

net:

port: 27031

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\shards\s1\key

sharding:

clusterRole: shardsvr

启动分片服务器

 

mongod -config D:\mongodb\sharding\shards\s0\mongodb.conf

mongod -config D:\mongodb\sharding\shards\s1\mongodb.conf

登录到mongos ，添加shard分片

mongo --port 27021

添加分片服务器

db.runCommand({addshard:"127.0.0.1:27030"})

sh.addShard("127.0.0.1:27031")

配置分片存储的数据库 sh.enableSharding(dbname) dbname-数据库名称

 

sh.enableSharding("testSharding")

设置分片集合的名称及指定片键 sh.shardCollection(fullName,key,unique) fullname-dbname.collectionname 数据库名称+集合名称；key-片键；unique-默认为true，为true时在基础索引上创建唯一约束

sh.shardCollection("testSharding.users",{userName:1})

创建测试数据

use testSharding

 

for (i = 5000; i < 100000; i++) {

db.users.insert({

"i": i,

"userName": "user" + i,

"age": Math.floor(Math.random() * 120),

"created": new Date(),

total: Math.floor(Math.random() * 100) * i

})

}

创建分片3为副本集

//shardRepliSet1

 

systemLog:

path: D:\mongodb\sharding\shards\s2\rs0\logs\mongodb.log

logAppend: true

destination: file

storage:

dbPath: D:\mongodb\sharding\shards\s2\rs0\data

net:

port: 27035

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\shards\s2\rs0\key

replication:

replSetName: replcaSetTest

secondaryIndexPrefetch: all

sharding:

clusterRole: shardsvr

 

//shardRepliSet2

 

systemLog:

path: D:\mongodb\sharding\shards\s2\rs1\logs\mongodb.log

logAppend: true

destination: file

storage:

dbPath: D:\mongodb\sharding\shards\s2\rs1\data

net:

port: 27032

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\shards\s2\rs1\key

replication:

replSetName: replcaSetTest

secondaryIndexPrefetch: all

sharding:

clusterRole: shardsvr

 

 

//shardRepliSet3

 

systemLog:

path: D:\mongodb\sharding\shards\s2\rs2\logs\mongodb.log

logAppend: true

destination: file

storage:

dbPath: D:\mongodb\sharding\shards\s2\rs2\data

net:

port: 27033

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\shards\s2\rs2\key

replication:

replSetName: replcaSetTest

secondaryIndexPrefetch: all

sharding:

clusterRole: shardsvr

 

 

//shardRepliSet4

 

systemLog:

path: D:\mongodb\sharding\shards\s2\rs3\logs\mongodb.log

logAppend: true

destination: file

storage:

dbPath: D:\mongodb\sharding\shards\s2\rs3\data

net:

port: 27038

bindIp: 127.0.0.1

security:

keyFile: D:\mongodb\sharding\shards\s2\rs3\key

replication:

replSetName: replcaSetTest

secondaryIndexPrefetch: all

sharding:

clusterRole: shardsvr

启动副本集实例

mongod -config D:\mongodb\sharding\shards\s2\rs0\mongodb.conf

mongod -config D:\mongodb\sharding\shards\s2\rs1\mongodb.conf

mongod -config D:\mongodb\sharding\shards\s2\rs2\mongodb.conf

mongod -config D:\mongodb\sharding\shards\s2\rs3\mongodb.conf

配置及初始化副本集

rsConfig = {

_id: "replcaSetTest",

members: [{ _id: 0, host: "127.0.0.1:27032" },

{ _id: 1, host: "127.0.0.1:27033" },

{ _id: 2, host: "127.0.0.1:27035" },

{ _id: 3, host: "127.0.0.1:27038" }

]

};

rs.initiate(rsConfig);

添加副本集分片至分片配置

sh.addShard("replcaSetTest/127.0.0.1:27032,127.0.0.1:27033,127.0.0.1:27035,127.0.0.1:27038")

设置配置服务器为副本集 配置文件中添加节点clusterRole: configsvr 即可，其它请参考副本集配置。

db.users.stats()查看集合users分片信息

管理维护分片集群

列出所有的分片服务器

use admin

db.runCommand({listshards:1})

查看集群摘要信息

sh.status();

查看分片集群信息

printShardingStatus()

转载于:https://www.cnblogs.com/AlvinLee/p/6117091.html

weixin_30632089
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mongodb4.2
脚步6978
04-15 209
net-tools
【MongoDB】查看集合是否分片 及片健创建、删除
热门推荐
zhuchunyan_aijia的博客
06-25 1万+
查看分片键 MongoDB会把分片过的集合保存在config.collection集合中，若需要查看分片键，则需要根据该集合进行查找。官方的其他很多分片快捷命令也都处于config库 三种方式 去config库中查询 这种办法可以查看分片键信息 db.collections.find({$and: [ ...
MongoDB之Shard初步认识
weixin_34377065的博客
11-20 329
2019独角兽企业重金招聘Python工程师标准>>> ...
MongoDB分片喽（八）
Bruce小鬼
05-08 819
MongoDB分片喽（八）一、分片你造吗？分片，也叫做分区，是一种常用的数据库优化技术。其含义就是将数据拆分，将数据分散到不同机器上的过程。这样就能够使得系统可以存储更多的数据，处于更大的负载。几乎所有的数据库软件都可以进行手动分片，通过应用程序管理不同服务器上的不同数据，查询也需要寻找正确的服务器。这样虽然可以减轻负载，但是却难以维护，比如我们向集群添加节点或者删除节点，都需要对应的调整数据的...
MongoDB学习笔记——（2）MongoDB 概念解析
chuaisen8350的博客
09-09 109
不管我们学习什么数据库都应该学习其中的基础概念，在mongodb中基本的概念是文档、集合、数据库，下面我们挨个介绍。 下表将帮助您更容易理解Mongo中的一些概念： SQL术语/概念 MongoDB术语/概念 解释/说明 da...
MongoDB学习笔记——数据库安装及配置
weixin_30448603的博客
11-11 104
MongoDB数据库安装 MongoDB官方下载地址：https://www.mongodb.com/download-center 首先需要根据Windows版本选择正确的MongoDB版本进行安装，可以在命令行中输入以下指令检查Windows版本： wmic os get osarchitecture 32 位版本的 MongoDB 只支持 2G 以下的数据库，只适用于测试及评...
MongoDB 学习笔记——（7）MongoDB 数据库管理(2)
chuaisen8350的博客
09-09 154
MongoDB 排序 MongoDB sort()方法 在MongoDB中使用使用sort()方法对数据进行排序，sort()方法可以通过参数指定排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而-1是用于降序排列。 语法 sort()方法基本语法如下所...
搭建高可用mongodb集群（四）——分片
02-26
“分片”就用这个来解决这个问题。传统数据库怎么做海量数据读写？其实一句话概括：分而治之。上图看看就清楚了，如下TaoBao岳旭强提到的架构图：上图中有个TDDL，是TaoBao的一个数据访问层组件，他主要的作用是SQL...
Mongodb学习笔记.docx
06-10
MongoDB 学习笔记 本文档是 MongoDB 学习笔记，涵盖了 NoSQL、Cache、运行平台等多个方面的知识点。 一、NoSQL 数据库 MongoDB MongoDB 是一个强大、灵活、可扩展性好的文档数据存储器，可以完成大部分关系数据库...
k8s 安装 mongodb 分片（Sharding）+ 副本集（Replica Set）
04-14
k8s 安装 MongoDB 分片（Sharding）+ 副本集（Replica Set） k8s 安装 MongoDB 分片（Sharding）+ 副本集（Replica Set）是结合 Kubernetes（k8s）和 MongoDB 实现高可用性和高性能的解决方案。本解决方案通过使用 ...
OAuth2.0 or Spring Session or 单点登录流程
qq_53374893的博客
07-20 403
一句话精辟解释： 在过滤器放行的时候，偷偷的把原生的 request 和 response 对象换成了它的实现，也就是 调用getSession 的时候拿到的 其实是对redis 操作的Session。但其他的操作还是使用原生的，只不过重写的方法，调用的是子类的，也就是往 redis 里放入 Session，把原生的操作给替换了！分布式Session原理，使用子域名，的时候放入父域名的 JsessionId 然后将这个ID 的所存的内容放入Redis ，这样实现不同域名共享同一sessionID.
基于JSP的高校信息资源共享平台
heye0910032的博客
07-22 634
高校信息资源共享平台的开发和实现，为高校信息资源的管理和共享提供了一个有效的解决方案。通过使用JSP技术和MySQL数据库，本系统实现了一个稳定、安全、易用的高校信息资源管理平台。虽然在开发过程中遇到了一些技术挑战，但通过不断学习和实践，最终完成了一个能够满足用户需求的系统。未来，我们将继续优化系统功能，提升用户体验，以期达到更高的应用价值和社会效益。高校信息资源共享平台的开发和实现，为高校信息资源的管理和共享提供了一个有效的解决方案。
秒杀业务: 简单梳理
最新发布
m0_59925573的博客
07-23 1043
（1）在一人一单优惠券秒杀中，先是解决了因线程安全导致的超卖问题，为了满足一人一单的业务需求需要给查询订单表查询库存表上锁，但是synchronized只能满足单机环境下线程安全，在分布式环境对多个JVM需要使用分布式锁，于是手写分布式锁,但是在极端情况下，例如业务超时，会出现“误删”问题，手写锁无法解决，于是引入redisson,借助看门狗机制可以有效解决这个问题。
MySQL（事务、索引）&&MyBatis
hycccccch的博客
07-19 778
事务指的是一组操作的集合，是一个不可分割的工作单位。事务会将所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败默认MySQL的事务是自动提交，即当执行一条DML语句时，MySQL会立即隐式的提交事务开启事务后运行事务不会对数据改变，commit后才会改变数据如果有命令发生错误，需要进行rollback进行回滚、
PostgreSQL的逻辑架构
weixin_41992498的博客
07-18 185
一、PostgreSql的逻辑架构：所有者：
docker容器
2401_83945639的博客
07-20 920
root@lvs-server ~]# docker start 8a1e7f458daf --手动start启动。-v 目录映射【宿主机的目录映射给容器的某个目录，将容器中的目录挂载到宿主机的目录中】docker rm -f $(docker ps -aq) 删除所有的容器。docker rm -f cname 强制删除，可以删除正在运行的容器。-p 端口映射【宿主机的端口映射给容器的某个端口】创建容器并运行 --这个是mysql的容器。docker ps -q 查看所有容器id。
"MongoDB学习笔记：数据库分类与概述
例如，MongDB可以实现数据的复制和分片，以提高数据的可用性和扩展性。它还支持事务操作，确保数据的一致性和完整性。 总之，MongDB是一种功能强大、灵活且易于使用的数据库系统，适用于各种Web应用场景。通过学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值