MongoDB集群之分片

最新推荐文章于 2022-05-18 10:30:19 发布
最新推荐文章于 2022-05-18 10:30:19 发布
阅读量650 收藏
点赞数
分类专栏： MongoDB集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ran5909729/article/details/51673117
版权

MongoDB集群帮助手册
一、Mongodb集群架构简介

这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。

要构建一个 MongoDB Sharding Cluster，需要三种角色：

l Shard Server: mongod 实例，用于存储实际的数据块，实际生产环境中一个shard
server角色可由几台机器组个一个relica set承担，防止主机单点故障 l Config Server: mongod
实例，存储了整个 Cluster Metadata，其中包括 chunk 信息。 l Route Server: mongos
实例，前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。

实例

  1. 分别在3台机器运行一个mongod实例（称为mongod shard11，mongod shard12，mongod shard13）组织replica set1，作为cluster的shard1
  2. 分别在3台机器运行一个mongod实例（称为mongod shard21，mongod shard22，mongod shard23）组织replica set2，作为cluster的shard2
  3. 每台机器运行一个mongod实例，作为3个config server
  4. 每台机器运行一个mongs进程，用于客户端连接

主机

这里写图片描述

二、集群配置

  • 软件准备

        1. 安装monodb软件

cd /root
tar zxvf mongodb-linux-x86_64-1.6.2.tar
  • 创建数据目录

根据本例sharding架构图所示，在各台sever上创建shard数据文件目录
Server1:

cd /root/mongo
mkdir -p data/shard11
mkdir -p data/shard21

Server2:

cd /root/mongo
mkdir -p data/shard11
mkdir -p data/shard22

Server3:

cd /root/mongo
mkdir -p data/shard13
mkdir -p data/shard23
  • 配置relica sets（复制集）

配置shard1所用到的replica sets:

Server1:

cd /mongodb/bin
vim mongod11.conf  新建mongod启动配置文件，以下为内容
#日志目录
logpath=/root/mongo/log/shard11/mongo.log

#数据目录
dbpath=/root/mongo/data/shard11

#日志以追加方式添加
logappend=true

# 开启后台进程运行
fork = true

#端口
port =27017

#副本集名称
replSet=shard1

oplogSize=100

#修改数据目录存储模式，每个数据库的文件存储在DBPATH指定目录的不同的文件夹中
directoryperdb=true

./mongod --config mongod11.conf

Server2:

cd /mongodb/bin
vim mongod12.conf  新建mongod启动配置文件，以下为内容
#日志目录
logpath=/root/mongo/log/shard12/mongo.log

#数据目录
dbpath=/root/mongo/data/shard12

#日志以追加方式添加
logappend=true

# 开启后台进程运行
fork = true

#端口
port =27017

#副本集名称
replSet=shard1

oplogSize=100

#修改数据目录存储模式，每个数据库的文件存储在DBPATH指定目录的不同的文件夹中
directoryperdb=true

./mongod --config mongod12.conf

Server3:

cd /mongodb/bin
vim mongod13.conf  新建mongod启动配置文件，以下为内容
#日志目录
logpath=/root/mongo/log/shard13/mongo.log

#数据目录
dbpath=/root/mongo/data/shard13

#日志以追加方式添加
logappend=true

# 开启后台进程运行
fork = true

#端口
port =27017

#副本集名称
replSet=shard1

oplogSize=100

#修改数据目录存储模式，每个数据库的文件存储在DBPATH指定目录的不同的文件夹中
directoryperdb=true

./mongod --config mongod13.conf
  • 初始化replica set

用mongo连接其中一个mongod，执行:

> config = {_id: 'shard1', members: [
                          {_id: 0, host: '192.168.0.197:27017'},
                          {_id: 1, host: '192.168.0.198:27017'},
                          {_id: 2, host: '192.168.0.199:27017'}]
           }

> rs.initiate(config)

同样方法，配置shard2用到的replica sets:

  • 初始化replica set

用mongo连接其中一个mongod，执行:

> config = {_id: 'shard2', members: [
                          {_id: 0, host: '192.168.0.197:27018'},
                          {_id: 1, host: '192.168.0.198:27018'},
                          {_id: 2, host: '192.168.0.199:27018'}]
           }

> rs.initiate(config);

到此就配置好了二个replica sets，也就是准备好了二个shards

  • 配置三台config server

Server1:

mkdir -p /root/mongo/config  #config server也需要dbpath

cd /root/mongo/bin

vim /root/mongo/bin/config.conf #新建config server启动配置文件，以下为内容

configsvr=true

dbpath=/root/mongo/config

port=20000

logpath=/root/mongo/config/config.log

logappend=true

fork=true

Server2:

mkdir -p /root/mongo/config  #config server也需要dbpath

cd /root/mongo/bin

vim /root/mongo/bin/config.conf #新建config server启动配置文件，以下为内容

configsvr=true

dbpath=/root/mongo/config

port=20000

logpath=/root/mongo/config/config.log

logappend=true

fork=true

Server3:

mkdir -p /root/mongo/config  #config server也需要dbpath

cd /root/mongo/bin

vim /root/mongo/bin/config.conf #新建config server启动配置文件，以下为内容

configsvr=true

dbpath=/root/mongo/config

port=20000

logpath=/root/mongo/config/config.log

logappend=true

fork=true
  • 配置mongs

在server1,server2,server3上分别执行：

./mongos --configdb 192.168.0.197:20000,192.168.0.198:20000,192.168.0.199:20000 --port 30000 --chunkSize 5 --logpath /mongodb/data/mongos.log --logappend –fork

mongs不需要dbpath

  • 添加复制集

连接到其中一个mongos进程，并切换到admin数据库做以下配置

  1. 连接到mongs，并切换到admin

    ./mongo 192.168.0.197:30000/admin

  2. 加入shards
    如里shard是单台服务器，用>db.runCommand( { addshard : “[:]” } )这样的命令加入，如果shard是replica sets，用replicaSetName/[:port][,serverhostname2[:port],…]这样的格式表示，例如本例执行：

>db.runCommand( { addshard : “shard1/192.168.0.197:27017,192.168.0.198:27017,192.168.0.199:27017″,name:”s1″,maxsize:20480} );
>db.runCommand( { addshard : “shard2/192.168.0.197:27018,192.168.0.198:27018,192.168.0.199:27018″,name:”s2″,maxsize:20480} );

注意：在添加第二个shard时，出现error:test database 已经存在的错误，这里用mongo命令连接到第二个replica set，用db.dropDatabase()命令把test数据库给删除然后就可加入

  1. 可选参数
    Name:用于指定每个shard的名字，不指定的话系统将自动分配

maxSize:指定各个shard可使用的最大磁盘空间，单位megabytes

  1. Listing shards
>db.runCommand( { listshards : 1 } )

如果列出了以上二个你加的shards，表示shards已经配置成功

  • 数据库分片以及Collecton分片

1、激活数据库分片
命令：

> db.runCommand( { enablesharding : “<dbname>” } );

通过执行以上命令，可以让数据库跨shard，如果不执行这步，数据库只会存放在一个shard，一旦激活数据库分片，数据库中不同的collection将被存放在不同的shard上，但一个collection仍旧存放在同一个shard上，要使单个collection也分片，还需单独对collection作些操作

2、Collection分片
要使单个collection也分片存储，需要给collection指定一个分片key，通过以下命令操作：

> db.runCommand( { shardcollection : “<namespace>”,key : <shardkeypatternobject> });

注：
a. 分片的collection系统会自动创建一个索引（也可用户提前创建好）

b. 分片的collection只能有一个在分片key上的唯一索引，其它唯一索引不被允许

One note: a sharded collection can have only one unique index, which must exist on the shard key. No other unique indexes can exist on the collection.
2.7分片collection例子

>db.runCommand( { shardcollection : “test.c1″,key : {id: 1} } )
>for (var i = 1； i <= 200003; i++) db.c1.save({id:i,value1:”1234567890″,value2:”1234567890″,value3:”1234567890″,value4:”1234567890″});
> db.c1.stats()（该命令可以查看表的存储状态）

以下待修改

  • Mongodb运行时添加节点

1、查看复制集节点配置

./mongo 192.168.1.197:27017

 rs0:PRIMARY> rs.conf();
{
        "_id" : "rs0",
        "version" : 3,
        "members" : [
                {
                        "_id" : 0,
                        "host" : "192.168.1.207:27017"
                },
                {
                        "_id" : 1,
                        "host" : "192.168.1.207:27018"
                },
        ]
}

2、添加节点
添加新的数据目录

mkdir –p /mongodb/data/shard4

启动节点

./mongod –shardsvr –replSet shard1 –port 27019 –dbpath  /mongodb/data/shard4 –oplogSize 100 –logpath /mongodb/data/shard4.log –logappend –fork
 连接主节点

mongo 192.168.1.207:27017
        rs0:PRIMARY> rs.isMaster();
{
        "setName" : "rs0",
        "ismaster" : true,
        "secondary" : false,
        "hosts" : [
                "192.168.1.207:27017",
                "192.168.1.207:27018"
        ],
        "primary" : "192.168.1.207:27017",
        "me" : "192.168.1.207:27018",
        "maxBsonObjectSize" : 16777216,
        "localTime" : ISODate("2013-05-22T13:04:36.501Z"),
        "ok" : 1
}

添加节点

 rs0:PRIMARY> rs.add("192.168.1.207:27019");
{ "ok" : 1 }

3、再次查看状态

 rs0:PRIMARY> rs.conf();
{
        "_id" : "rs0",
        "version" : 3,
        "members" : [
                {
                        "_id" : 0,
                        "host" : "192.168.1.207:27017"
                },
                {
                        "_id" : 1,
                        "host" : "192.168.1.207:27018"
                },
{
                        "_id" : 1,
                        "host" : "192.168.1.207:27019"
                },
]
}

添加成功

  • Mongodb运行时移除节点

其他步骤同上，其中只是将添加命令改为移除命令

rs0:PRIMARY> rs.remove("192.168.1.207:27019");

最后还需要关掉192.168.1.207:27019 该服务

Ps –ef | grep mongo 查找该服务

然后通过kill -9 pid 关闭服务。

  • Mongodb运行时移除分片

1、连接mongos节点 ./mongo 192.168.1.207:30000/admin

2、运行db.runCommand( { removeshard: “your_shard_name” } )
{ msg : “draining started successfully”, state: “started”, shard :”mongodb0”, ok : 1 }

3、查看状态，我们可以反复执行上面语句查看执行状态

db.runCommand( { removeshard: “your_shard_name” } ){ msg: “draining ongoing”, state: “ongoing”, remaining: { chunks: 42, dbs : 1 }, ok: 1

说明正在迁移中。

4、移除非shard数据

db.runCommand( { movePrimary: "myapp", to: "mongodb1" })

这次就不是立即返回了，需要很久，然后会返回如下：

{ "primary" : "mongodb1", "ok" : 1 }

5、面步骤都完成后，还需要再执行一次RemoveShard，清理残余数据。

db.runCommand( { removeshard: "mongodb0" } )

显示completed后，就可以安心的关闭mongod的进程了。

三、Mongodb问题以及解决方案

  • 问题一： mongodb启动成功但远程无法连接

问题描述：linux环境下mongodb启动充公但远程无法连接

解决方案：最可能的原因是调试 没有关闭iptables和selinux

只需要执行命令：/etc/init.d/iptables stop

不知一个
关注
专栏目录
MongoDB的分片集群
网络
02-28 6398
分片集群简介在之前有说过关于MongoDB的复制集，复制集主要用来实现自动故障转移从而达到高可用的目的，然而，随着业务规模的增长和时间的推移，业务数据量会越来越大，当前业务数据可能只有几百GB不到，一台DB服务器足以搞定所有的工作，而一旦业务数据量扩充大几个TB几百个TB时，就会产生一台服务器无法存储的情况，此时，需要将数据按照一定的规则分配到不同的服务器进行存储、查询等，即为分片集群。分片集群要做
mongoDB集群之分片集群
java技术博客
08-18 275
ps auxf|grep mongo |grep -v grep|xargs kill -9杀死所有redis的进程 分片是把大型数据集进行分区成更小的可管理的片,这些数据片分散到不同的mongoDB节点, 这些节点组成了分片集群。 总体分为3块 分片服务器 配置服务器 路由器(mongos)组成： 如果有旧的数据先清除: rm -rf /soft/mongosplit/node27021/db/* rm -rf /soft/mongosplit...
MongoDB之分片
lixinkuan的博客
02-12 398
分片 在Mongodb里面存在另一种集群，就是分片技术,可以满足MongoDB数据量大量增长的需求。 当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。 为什么使用分片 复制所有的写入操作到主节点 延迟的敏感数据会在主节点查询 单个副本集限制在12个节点 当...
【七】MongoDB管理之分片集群介绍
weixin_30329623的博客
12-18 102
分片是横跨多台主机存储数据记录的过程，它是MongoDB针对日益增长的数据需求而采用的解决方案。随着数据的快速增长，单台服务器已经无法满足读写高吞吐量的需求。分片通过水平扩展的方式解决了这个问题。通过分片，你能添加更多的机器到集群中来应对快速增长的数据存储并且满足高吞吐量读写操作。 一、分片介绍 MongoDB使用分片技术来支持大数据集和高吞吐量操作。 1、分片目的 对于单台数据库服务器，...
mongodb分片集群设计方案
dongxyang的专栏
07-22 1211
1. 设计思想：分片集群(sharding cluster)，每个分片就是一个集群，每个集群就是一个分片。 Shard Server:  mongod 实例，用于存储实际的数据块，一个shard server角色可由三台机器组成一个replica set承担，保障数据完整性。 Config Server: mongod 实例，存储了整个 Cluster Metadata，其中包括 chun
MongoDB4.2分片及副本集群搭建
最新发布
04-21
MongoDB4.2分片及副本集群搭建 MongoDB集群 MongoDB分片 MongoDB副本 MongoDB副本集群
MongoDB分片集群部署详解
09-09
在本例环境中，prod环境的MongoDB集群已经采用分片集群部署，但当前所有数据都在一个分片上。这种架构允许在未来轻松地进行分片，对业务方透明。以下是集群角色的IP和端口分配： - mongos：172.21.244.101，172.21....
Mongodb 删除添加分片与非分片表维护
09-10
添加分片是MongoDB集群扩展的重要操作。要向集群添加分片，通常包括以下步骤： 1. **配置新分片**： 首先，要在新的服务器上安装MongoDB，并将其配置为分片服务器。 2. **启动配置服务器**： 分片集群需要至少一...
MongoDB搭建高可用集群的完整步骤（3个分片+3个副本）
12-16
在本文中，我们将探讨如何搭建一个高可用的MongoDB集群，包括3个分片和3个副本集，确保数据的高可用性和容错性。 首先，我们需要规划网络端口和IP地址。在给出的架构图中，每个副本集由3个节点组成，每个节点都有一...
搭建高可用mongodb集群（四）——分片
02-26
“分片”就用这个来解决这个问题。传统数据库怎么做海量数据读写？其实一句话概括：分而治之。上图看看就清楚了，如下TaoBao岳旭强提到的架构图：上图中有个TDDL，是TaoBao的一个数据访问层组件，他主要的作用是SQL...
Mongodb分片集群规划及部署
一天一点点的专栏
09-02 977
一、测试环境   环境centos 5.5 x86_64 mongodb分片集群规划如下：   一、在服务器上启用mongos（192.168.3.242），由于测试环境，不做高负载及高可用   二、选取三台做为config server   三、在六台上都启用分片及仲裁三台服务器做一组shard server集群   具体操作如下 ：   1、在192.168.3.
MongoDB分片集
liuyuhui_gdtyj的博客
06-28 277
环境： 三台CentOS7.6 最小安装，禁用SeLinux。 MongoDB 4.X：各版本下载列表：https://www.mongodb.org/dl/linux/x86_64 数据分片访问示意图： 分片中的角色，有三种： ① 配置服务器。是一个独立的mongod进程，保存集群和分片的元数据，即各分片包含了哪些数据的信息。最先开始建立，启用日志功能。像启动普通的mongod一样启动配置服务...
8.MongoDB之分片集群
热门推荐
mijichui2153的博客
03-14 1万+
一、mongodb分片与各角色与概念介绍 Mongodb的分片机制是mongodb数据库的核心机制，也是其可用性高，扩展性好的原因，分片—sharding 的意思就是将数据库数据分散存贮到不同的服务器上，来缓解高并发访问，均衡负载。举例来说一下，比如说一个collection有TB级别的数据，在传统方式下如果有两个线程要访问其中的数据，即使这个线程访问的数据是不同的，为保证同步需要排队等待，分片机制可以很好的解决这个问题，分片机制其实就是分布式的集群，比如现在有五台服务器作为集群，mongodb可以将一.
MongoDB 分片集群
程序员路同学
05-18 2477
分片集群 1. 什么是分片？ 将数据水平拆分到不同的服务器上 2. 为什么要使用分片集群 数据量突破单机瓶颈，数据量大，恢复很慢，不利于数据管理 并发量突破单机性能瓶颈 MongoDB 分片集群几部分组成 ...
MongoDB集群——分片
weixin_34292402的博客
10-03 595
1、 分片的结构及原理分片集群结构分布：分片集群主要由三种组件组成：mongos，config server，shard1) MONGOS数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多个mongos作为请求的入口，防止其中一个挂掉...
MongoDB 分片
weixin_34088838的博客
08-14 326
分片是MongoDB的扩展方式,通过分片能够增加更多的机器来用对不断增加的负载和数据,还不影响应用. 1.分片简介 分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分散在不同的机器上,不需要功能 强大的大型计算机就可以存储更多的数据,处理更大的负载. 使用几乎所有数据库软件都能进行手动分片,应用需要维护与若干不同数据库服务器的连接,每个连接还是完全 独立的.应用程序...
MongoDB分片
12-13 319
如果需要存储大量数据，或者系统的读写吞吐量很大的时候，单个server就很难满足需求了。这个时候我们可以使用MongoDB的分片机制来解决这些问题。 分片的基本概念 分片（sharding）是一种水平扩展（horizontal scaling）的方式，把一个大的数据集分散到多个片服务器上，所有的片服务器将组成一个逻辑上的数据库来存储这个大的数据集。分片对用户（应用层）是透明的，用户不...
非关系型数据库Mongodb（三）：集群之复制集和分片集
菜鸡也有大佬梦
10-29 1683
MongoDB集群之复制集 MongoDB集群之分片集群
mongo集群分片
发歌的数据架构
07-02 9666
启动集群分片： 要对一个集合分片，首先你要对这个集合的数据库启用分片，执行如下命令： sh.enableSharding("test") mydb被配置成启用分片后,配置信息是存放在配置服务器的数据库config的databases集合里! 片键：片键是集合的一个键，MongoDB根据这个键拆分数据。例如：username 。在启用分片之前，先在希望作为片键的键上创建索引： db.u
MongoDB集群搭建与分片详解
"MongoDB集群搭建包括mongod(分片存储数据)、mongos(路由处理)、config server(配置节点)以及client(客户端)，还有仲裁节点(arbiter)用于选举主节点。集群通过sharding(分片)提高数据QPS，mongos作为路由器决定数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值