MongoDB分片实战(一):集群搭建

转载 2016年08月29日 17:21:28

MongoDB分片实战(一):集群搭建

环境准备

Linux环境

主机 OS 备注
192.168.32.13 CentOS6.3 64位 普通PC
192.168.71.43 CentOS6.2 64位 服务器,NUMA CPU架构

MongoDB版本:mongodb-linux-x86_64-2.4.1,下载地址:www.mongodb.org/downloads.

MongoDB安装:分别在两台机器上安装好mongodb 2.4.1,安装路径都为/url/local/mongodb-2.4.1/

cd /usr/local/src/
wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.1.tgz
tar -zxvf mongodb-linux-x86_64-2.4.1.tgz
cp -r mongodb-linux-x86_64-2.4.1 /usr/local/mongodb-2.4.1
cd /usr/local/mongodb-2.4.1/bin/
ll

可以看到mongodb安装成功有如下模块:

 

mongodb启动和关闭等在后面集群搭建中有详细说明,在此不再赘述。

Sharding集群搭建

Mongodb一共有三种集群搭建的方式:Replica Set(副本集)、Sharding(切片)和Master-Slaver(主从)。下面要搭建的是Sharding,Sharding集群也是三种集群中最复杂的。

配置服务器启动(192.168.32.13:10000):

1.    ./bin/mongod --fork --dbpath data/config/ --logpath log/config.log –port 10000

路由服务器启动(192.168.32.13:20000):

1.    ./bin/mongos --port 20000 --configdb 192.168.32.13:10000 --logpath log/mongos.log  --fork

注意1:配置--conigdb的时候ip地址不能填localhost或127.0.0.1否则添加分片时会返回如下错误信息:

1.    {
2.            "ok" : 0,
3.            "errmsg" : "can't use localhost as a shard since all shards need to communicate. either use all shards and configdbs in localhost or all in actual IPs  host: 192.168.71.43:27017 isLocalHost:0"
4.    }

启动分片1(192.168.32.13:27019):

1.    ./bin/mongod --dbpath data/shard3/ --logpath log/shard3.log  --fork --port 27019

启动分片2(192.168.32.13:27020):

1.    ./bin/mongod --dbpath data/shard3/ --logpath log/shard3.log  --fork --port 27020

启动分片3(192.168.71.43:27017):

1.    numactl --interleave=all ./bin/mongod --dbpath data/shard1/ --logpath log/shard1.log  --fork --port 27017

启动分片4(192.168.71.43:27018):

1.    numactl --interleave=all ./bin/mongod --dbpath data/shard2/ --logpath log/shard2.log  --fork --port 27018

说明:关于这里为什么加numactl --interleave=all,后面有详细说明。

Note:在生产环境可以将启动的配置信息写入文件,然后启动的时候指定配置文件,这样便于管理:

复制代码
1.    vi conf/config.conf
2.    bpath=data/config/
3.    logpath=log/config.log
4.    port=10000
5.    fork=true

6.    ./bin/mongod -f conf/config.conf
复制代码

添加分片1(192.168.32.13:27019):

1.    ./bin/mongo --port 20000
2.    mongos> use admin
3.    switched to db admin
4.    mongos> db.runCommand({addshard:"192.168.32.13:27019",allowLocal:true })

注意2:同样这里的192.168.32.13不能用localhost或127.0.0.1代替,并且当路由进程和分片在同一台机器上要指定allowLocal为true,因为MongoDB尽量避免错误的配置,将集群配置在本地,所以这个配置指明当前仅仅是用于开发。

添加分片3(192.168.71.43:27017):

1.    mongos> db.runCommand({addshard:"192.168.71.43:27017" })

类似的添加分片2,4。

分片添加成功返回类似下面的信息(当前mongodb版本为2.4.1):

1.    { "shardAdded" : "shard0000", "ok" : 1 }

删除分片:如果要删除分片的话可以removeshard命令:

复制代码
1.    mongos> use admin
2.    switched to db admin
3.    mongos> db.runCommand({"removeshard":"192.168.32.13:27020"})
4.    {
5.            "msg" : "draining started successfully",
6.            "state" : "started",
7.            "shard" : "shard0001",
8.            "note" : "you need to drop or movePrimary these databases",
9.            "dbsToMove" : [
10.                    "test3"
11.            ],
12.            "ok" : 1
13.    }
复制代码

移除分片需要一个过程,MongoDB会把移除的片上的数据(块)挪到其他片上,移动中会显示进度:

复制代码
1.    mongos> db.runCommand({"removeshard":"192.168.32.13:27020"})
2.    {
3.            "msg" : "draining ongoing",
4.            "state" : "ongoing",
5.            "remaining" : {
6.                    "chunks" : NumberLong(0),
7.                    "dbs" : NumberLong(1)
8.            },
9.            "note" : "you need to drop or movePrimary these databases",
10.            "dbsToMove" : [
11.                    "test3"
12.            ],
13.            "ok" : 1
14.    }
复制代码

注意:如果删除的片是数据库的大本营(基片),必须手动移动或删除数据库,用moveprimary命令,上面的示例中就提示192.168.32.13:27020是test3库的大本营(primary),这个信息可以通过查看config.databases看到:

1.    mongos> use config
2.    switched to db config
3.    mongos> db.databases.find()
4.    { "_id" : "test3", "partitioned" : false, "primary" : "shard0001" }

这里shard0001就是192.168.32.13:27020,下面通过moveprimary命令移除test3:

1.    mongos> use admin 
2.    switched to db admin
3.    mongos> db.runCommand({"moveprimary":"test3","to":"192.168.32.13:27019"})
4.    { "primary " : "shard0000:192.168.32.13:27019", "ok" : 1 }

这时再查看config.databases会发现test3的大本营变成了shard0000(192.168.32.13:27019)

这时再执行removeshard命令则能成功移除分片了:

复制代码
1.    mongos> db.runCommand({"removeshard":"192.168.32.13:27020"})
2.    {
3.            "msg" : "removeshard completed successfully",
4.            "state" : "completed",
5.            "shard" : "shard0001",
6.            "ok" : 1
7.    }
复制代码

管理分片

进入mongos进程config库可以看到目前分片的情况:

复制代码
1.    ./bin/mongo –port 20000
2.    use config
3.    db.shards.find()
1.    mongos> use config
2.    switched to db config
3.    mongos> db.shards.find()
4.    { "_id" : "shard0000", "host" : "192.168.32.13:27019" }
5.    { "_id" : "shard0001", "host" : "192.168.71.43:27017" }
6.    { "_id" : "shard0002", "host" : "192.168.71.43:27018" }
复制代码

注意3:如果配置过程中发生过上面注意1中出现的情况,即配置configdb的时候用了localhost或127.0.0.1,则运行db.shards.find()可能会出现如下错误:

1.    mongos> db.shards.find()
2.    error: {
3.            "$err" : "could not initialize sharding on connection 192.168.32.13:10000 :: caused by :: mongos specified a different config database string : stored : localhost:10000 vs given : 192.168.32.13:10000",
4.            "code" : 15907
5.    }

解决方法是重新启动config进程

查看分片后的数据库:

复制代码
1.    ./bin/mongo –port 20000
2.    use test
3.    db.test.user.insert({“test”: “test”})
4.    ……
5.    use config
6.    db.databases.find()
7.    { "_id" : "admin", "partitioned" : false, "primary" : "config" }
8.    { "_id" : "test", "partitioned" : false, "primary" : "shard0000" }
9.    { "_id" : "test2", "partitioned" : false, "primary" : "shard0000" }
10.    { "_id" : "test3", "partitioned" : false, "primary" : "shard0001" }
复制代码

“_id”,字符串。表示数据库名。

“partioned”,布尔型。如果为true则表示开启了分片功能。

“primary”,字符串,这个值与“_id”对应表示这个数据库的“大本营“在哪里,不论分片与否,数据库总是会有个“大本营”,创建数据库时会随机选择一个片,也就是说大本营是开始创建数据库文件的位置。虽然分片的时候数据库也会用到很多别的服务器,但是从这分片开始。

至此整个mongodb分片集群基本搭建完成,但是想让分片正常、高效、稳定的运行还有很多工作要做,下一节将在此基础上做一些简单的测试。

作者:zhanjindong
出处:http://www.cnblogs.com/zhanjindong
个人博客:http://zhanjindong.com
关于:一个程序员而已
说明:目前的技术水平有限,博客定位于学习心得和总结。 
举报

相关文章推荐

mongos分片集群整体在线迁移方案和详细实践

环境准备: mongodb版本:3.0 mongos:1个 configserver:3个,普通模式组成高可用(非副本集方式) 分片节点:2个,每个分片是三个数据节点组成的副本集(1 prim...

mongodb error creating initial database config information 问题处理

开发同事说应用里面mongodb写入报错,自己进服务器查看,报错信息如下:[mongodb@azure_d1_dbm1_3_11 ~]$ /usr/local/mongodb-linux-x86_64...
  • mchdba
  • mchdba
  • 2016-06-25 00:59
  • 5496

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

MongoDB分片实战(一):集群搭建

环境准备 Linux环境 主机 OS 备注 192.168.32.13 CentOS6.3 64位 普通PC 192.168.7...

MongoDB分片集群搭建

系统架构图 准备12台机器 10.202.12.178(主1) 10.202.12.179(备1) 10.202.12.180(主2) 10.202.12.181(备2) 10.202.12...

MongoDB 分片集群搭建

一 .集群部署简介        MongoDB 的部署方式十分灵活,可以使用单个 MongoDB 实例,也可以使用复制集和分片集群。在测试开发阶段一般使用单个 MongoDB 实例。由于云数 据中...

搭建mongodb集群(副本集+分片)

最近公司要搭建mongodb集群,看了两天,知道了有三种结构,普通的主备模式,复制集模式和 复制集加分片模式,我的目标是要部署在生产环境,所以需要选择最靠谱的部署方式,就是要保证:高可用,可选择,数据...

快速搭建MongoDB分片集群

最近一直在搭建MongoDB,写的搭建指导书一直没有时间完善,今天先写一篇快速搭建的方法,后续再补充完整的。按照这个方法,在一台机器上可以快速的完成分片、副本集、1个config和1个router的搭...

MongoDB集群搭建实例

集群复制方式及区别 1.     复制方式 复制是跨多个MongoDB服务器(节点)分布和维护数据的方法。MongoDB提供的复制方法有两种:一、主从复制(有点过时);二、可复制集群。 2.     ...

【MongoDB】在window系统下搭建MongoDB的分片集群(一)

坦白说,刚看到这个fen'pian

搭建MongoDB集群

集群由以下3个服务组成: Shards Server: 每个shard由一个或多个mongod进程组成,用于存储数据 Config Server: 用于存储集群的Metadata信息,包括每个S...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)