mongodb 分片群集配置 及数据迁移

最新推荐文章于 2023-07-02 21:00:35 发布
最新推荐文章于 2023-07-02 21:00:35 发布
阅读量1w 收藏 3
点赞数
分类专栏： NOSQL 文章标签： MONGODB 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/miyatang/article/details/41046257
版权
配置mongodb分片群集(sharding cluster)

Sharding cluster介绍

这是一种可以水平扩展的模式，在数据量很大时特给力，实际大规模应用一般会采用这种架构去构建monodb系统。

 要构建一个 MongoDB Sharding Cluster，需要三种角色：

Shard Server: mongod 实例，用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个relica set承担，防止主机单点故障

Config Server: mongod 实例，存储了整个 Cluster Metadata，其中包括 chunk 信息。

Route Server: mongos 实例，前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。


Sharding架构图:


host    ip        端口信息
-------------------------------------------------
mds1    192.168.20.11    mongod shard11:28011
                                            mongod shard12:28012
                                            mongod config1:28010
                                            mongs1:28000
 


mds2    192.168.20.13    mongod shard12:28013
                                             mongod shard22:28014
                                             mongod config2:28010
                                            mongs2:28000



mds3    192.168.20.15    mongod shard13:28015
                                             mongod shard23:28016
                                             mongod config3:28010
                                             mongs3:28000

一、LINUX 环境准备工作

1.1 先配置ULIMIT


修改文件：
/etc/security/limits.conf

比如添加以下内容：
mongo                soft    nproc   30000
mongo                hard    nproc   65536
mongo                soft    nofile  30000
mongo                hard    nofile  65536


(这个在配置MONGODB 最大连接数是有用，因为MONGODB 默认的最大连接数为819,还要减掉各节点间的config等服务器的连接，如果你是在生产环境下，

相信一会儿就不够，并且mongo 安装用户如果不是root,比如我的mongo,也会报错，linux 默认一个非root 用户只能打开1024个文件。


)


 
软件准备
1. 创建用户

useradd mongo

 
2. 安装monodb软件
su – mongo
tar zxvf mongodb-linux-x86_64-2.6.4.tar

3. 创建数据目录
根据本例sharding架构图所示，在各台sever上创建shard数据文件目录
mds1:
su – mono
mkdir -p /home/mongodb/mongodb2.6.4/logs
mkdir -p /home/mongodb/mongodb2.6.4/config

mkdir -p /opt/mongodb/data/shard11
mkdir -p /opt/mongodb/data/shard21
mds2:
su – mono
mkdir -p /home/mongodb/mongodb2.6.4/logs
mkdir -p /home/mongodb/mongodb2.6.4/config
mkdir -p /opt/mongodb/data/shard12
mkdir -p /opt/mongodb/data/shard22

mds3:
su – mono
mkdir -p /home/mongodb/mongodb2.6.4/logs
mkdir -p /home/mongodb/mongodb2.6.4/config
mkdir -p /opt/mongodb/data/shard13
mkdir -p /opt/mongodb/data/shard23


配置REPLICAT SETS

1.配置SHARD1 所在的REPLICA SETS

（在实际配置中，我都使用了建立一个sh 文件，并对应--config 文件运行的方式，这样方便以后每次执行而不会出错）。


mds1

vi mongod_shard11_start.sh

/home/mongo/mongodb2.6.4/bin/mongod --shardsvr --replSet shard1 --port 28011 --dbpath /opt/mongodb/data/shard11 --oplogSize 1000 --logpath /home/mongo/mongodb2.6.4/logs/shard11.log --logappend  --maxConn 30000 --fork


mds2

vi mongod_shard12_start.sh

/home/mongo/mongodb2.6.4/bin/mongod –shardsvr –replSet shard1 –port 28013 –dbpath /opt/mongodb/data/shard12 –oplogSize 1000 –logpath /home/mongo/mongodb2.6.4/logs/shard12.log –logappend --maxConn 30000 –fork



mds3

vi mongod_shard13_start.sh

/home/mongo/mongodb2.6.4/bin/mongod –shardsvr –replSet shard1 –port 28015 –dbpath /opt/mongodb/data/shard13 –oplogSize 1000 –logpath /home/mongo/mongodb2.6.4/logs/shard13.log  –logappend --maxConn 30000 –fork


并启动 对应的

mongod_shard11_start.sh
mongod_shard12_start.sh
mongod_shard13_start.sh

初始化replica set shard1
用mongo 连接其中一个节点： 比如：shard11 执行以下：

> config = {_id: 'shard1', members: [
                           {_id: 0, host:'198.168.20.11:28011'},
                           {_id: 1, host:'198.168.20.13:28013'},
                           {_id: 2, host:'198.168.20.15:28015'}]
            }
 
> rs.initiate(config);
此步的具体操作如下：
    mongo -port 28011
    config = {_id: 'shard1', members: [
                   {_id: 0, host:'198.168.20.11:28011'},
                   {_id: 1, host:'198.168.20.13:28013'},
                   {_id: 2, host:'198.168.20.15:28015'}]
            }
    > rs.initiate(config)
    {
        "ok" : 0,
        "errmsg" : "couldn't initiate : can't find self in the replset config my port: 28011"
    }
    > cfg={_id:"shard1",members:[{_id:0,host:"192.168.20.11:28011"},
    ... {_id:1,host:"192.168.20.13:28013"}]}
    {
        "_id" : "shard1",
        "members" : [
            {
                "_id" : 0,
                "host" : "192.168.20.11:28011"
            },
            {
                "_id" : 1,
                "host" : "192.168.20.13:28013"
            }
        ]
    }
    > rs.initiate(cfg)
    {
        "info" : "Config now saved locally.  Should come online in about a minute.",
        "ok" : 1
    }
    shard1:OTHER> rs.status()
    {
        "set" : "shard1",
        "date" : ISODate("2014-11-09T08:57:38Z"),
        "myState" : 1,
        "members" : [
            {
                "_id" : 0,
                "name" : "192.168.20.11:28011",
                "health" : 1,
                "state" : 1,
                "stateStr" : "PRIMARY",
                "uptime" : 2710,
                "optime" : Timestamp(1415523264, 1),
                "optimeDate" : ISODate("2014-11-09T08:54:24Z"),
                "electionTime" : Timestamp(1415523272, 1),
                "electionDate" : ISODate("2014-11-09T08:54:32Z"),
                "self" : true
            },
            {
                "_id" : 1,
                "name" : "192.168.20.13:28013",
                "health" : 1,
                "state" : 2,
                "stateStr" : "SECONDARY",
                "uptime" : 194,
                "optime" : Timestamp(1415523264, 1),
                "optimeDate" : ISODate("2014-11-09T08:54:24Z"),
                "lastHeartbeat" : ISODate("2014-11-09T08:57:36Z"),
                "lastHeartbeatRecv" : ISODate("2014-11-09T08:57:36Z"),
                "pingMs" : 0,
                "syncingTo" : "192.168.20.11:28011"
            }
        ],
        "ok" : 1
    }
    shard1:PRIMARY> rs.add({_id:2,host:"192.168.20.15:28015"})
    { "ok" : 1 }
    shard1:PRIMARY> rs.status()
    {
        "set" : "shard1",
        "date" : ISODate("2014-11-09T08:58:44Z"),
        "myState" : 1,
        "members" : [
            {
                "_id" : 0,
                "name" : "192.168.20.11:28011",
                "health" : 1,
                "state" : 1,
                "stateStr" : "PRIMARY",
                "uptime" : 2776,
                "optime" : Timestamp(1415523521, 1),
                "optimeDate" : ISODate("2014-11-09T08:58:41Z"),
                "electionTime" : Timestamp(1415523272, 1),
                "electionDate" : ISODate("2014-11-09T08:54:32Z"),
                "self" : true
            },
            {
                "_id" : 1,
                "name" : "192.168.20.13:28013",
                "health" : 1,
                "state" : 2,
                "stateStr" : "SECONDARY",
                "uptime" : 260,
                "optime" : Timestamp(1415523521, 1),
                "optimeDate" : ISODate("2014-11-09T08:58:41Z"),
                "lastHeartbeat" : ISODate("2014-11-09T08:58:44Z"),
                "lastHeartbeatRecv" : ISODate("2014-11-09T08:58:44Z"),
                "pingMs" : 0,
                "syncingTo" : "192.168.20.11:28011"
            },
            {
                "_id" : 2,
                "name" : "192.168.20.15:28015",
                "health" : 1,
                "state" : 5,
                "stateStr" : "STARTUP2",
                "uptime" : 3,
                "optime" : Timestamp(0, 0),
                "optimeDate" : ISODate("1970-01-01T00:00:00Z"),
                "lastHeartbeat" : ISODate("2014-11-09T08:58:43Z"),
                "lastHeartbeatRecv" : ISODate("2014-11-09T08:58:43Z"),
                "pingMs" : 0
            }
        ],
        "ok" : 1
    }
    shard1:PRIMARY>




配置SHARD2


mds1

vi shard21_start.sh

/home/mongo/mongodb2.6.4/bin/mongod --shardsvr --replSet shard2 –port 28012 –dbpath /opt/mongodb/data/shard21 –oplogSize 1000 –logpath /home/mongo/mongodb2.6.4/logs/shard21.log –logappend –fork


mds2

vi mongod_shard22_start.sh

/home/mongo/mongodb2.6.4/bin/mongod –shardsvr –replSet shard2 –port 28014 –dbpath /opt/mongodb/data/shard22 –oplogSize 1000 –logpath /home/mongo/mongodb2.6.4/logs/shard22.log –logappend –fork



mds3

vi mongod_shard23_start.sh

/home/mongo/mongodb2.6.4/bin/mongod –shardsvr –replSet shard2 –port 28016 –dbpath /opt/mongodb/data/shard23 –oplogSize 1000 –logpath /home/mongo/mongodb2.6.4/logs/shard23.log –logappend –fork


运行以上sh

初始化replica set shard2
用mongo 连接其中一个节点： 比如：shard21 执行以下：

> config = {_id: ’shard2′, members: [
                           {_id: 0, host: '198.168.20.11:28012'},
                           {_id: 1, host: '198.168.20.13:28014'},
                           {_id: 2, host: '198.168.20.15:28016'}]
            }
 
> rs.initiate(config);

> cfg={_id:"shard2",members:[{_id:0,host:"192.168.20.11:28012"},
... {_id:1,host:"192.168.20.13:28014"},
... {_id:2,host:"192.168.20.15:28016"}]}
{
    "_id" : "shard2",
    "members" : [
        {
            "_id" : 0,
            "host" : "192.168.20.11:28012"
        },
        {
            "_id" : 1,
            "host" : "192.168.20.13:28014"
        },
        {
            "_id" : 2,
            "host" : "192.168.20.15:28016"
        }
    ]
}
> rs.initiate(cfg)
{
    "info" : "Config now saved locally.  Should come online in about a minute.",
    "ok" : 1
}
shard2:OTHER> rs.status()
{
    "set" : "shard2",
    "date" : ISODate("2014-11-09T09:05:12Z"),
    "myState" : 2,
    "members" : [
        {
            "_id" : 0,
            "name" : "192.168.20.11:28012",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 1431,
            "optime" : Timestamp(1415523903, 1),
            "optimeDate" : ISODate("2014-11-09T09:05:03Z"),
            "self" : true
        },
        {
            "_id" : 1,
            "name" : "192.168.20.13:28014",
            "health" : 1,
            "state" : 5,
            "stateStr" : "STARTUP2",
            "uptime" : 9,
            "optime" : Timestamp(0, 0),
            "optimeDate" : ISODate("1970-01-01T00:00:00Z"),
            "lastHeartbeat" : ISODate("2014-11-09T09:05:11Z"),
            "lastHeartbeatRecv" : ISODate("2014-11-09T09:05:11Z"),
            "pingMs" : 0
        },
        {
            "_id" : 2,
            "name" : "192.168.20.15:28016",
            "health" : 1,
            "state" : 5,
            "stateStr" : "STARTUP2",
            "uptime" : 7,
            "optime" : Timestamp(0, 0),
            "optimeDate" : ISODate("1970-01-01T00:00:00Z"),
            "lastHeartbeat" : ISODate("2014-11-09T09:05:11Z"),
            "lastHeartbeatRecv" : ISODate("2014-11-09T09:05:11Z"),
            "pingMs" : 0
        }
    ],
    "ok" : 1
}
shard2:SECONDARY>


配置三台config server
 
mds1:

 ./mongod –configsvr –dbpath /home/mongo/mongodb2.6.4/config –port 28010 –logpath /home/mongo/mongodb2.6.4/logs/config.log –logappend –fork   
 
 #config server也需要dbpath
 
 mds2:

 ./mongod –configsvr –dbpath /home/mongo/mongodb2.6.4/config –port 28010 –logpath /home/mongo/mongodb2.6.4/logs/config.log –logappend –fork
 
mds3:

 ./mongod –configsvr –dbpath /home/mongo/mongodb2.6.4/config –port 28010 –logpath /home/mongo/mongodb2.6.4/logs/config.log –logappend –fork

配置mongs
 
在server1,server2,server3上分别执行：
 ./mongos –configdb 192.168.20.11:28010,192.168.20.13:28010,192.168.20.15:28010 –port 28000 –chunkSize 128 –logpath /home/mongo/mongodb2.6.4/logs/mongos.log –logappend –fork

 #mongs不需要dbpath

    开始运行出现以下问题：
    about to fork child process, waiting until server is ready for connections.
    forked process: 5969

    日志显示：

    waited 209s for distributed lock configUpgrade for upgrading config database to new format v5

    后各节点设置时间同步后，问题解决。

配置集群


    连接到其中一个mongos进程，并切换到admin数据库做以下配置
     1. 连接到mongs，并切换到admin
     ./mongo 192.168.20.11:28000/admin
     >db
     Admin
     2. 加入shards
     命令格式：
        replicaSetName/[:port] [,serverhostname2[:port],…]
    
    执行如下：

     >db.runCommand({addshard:"shard1/192.168.20.11:28011,192.168.20.13:28011,192.168.20.15:28011"});
     >db.runCommand({addshard:"shard2/192.168.20.11:28012,192.168.20.13:28012,192.168.20.15:28012"});
     >db.runCommand({addshard:"shard3/192.168.20.11:28013,192.168.20.13:28013,192.168.20.15:28013"});

    
    3. 可选参数
     Name:用于指定每个shard的名字，不指定的话系统将自动分配
     maxSize:指定各个shard可使用的最大磁盘空间，单位megabytes
    
    修改maxsize:

    use config
    db.shards.update({_id:"s1"},{$set:{maxSize:2000000}})

    4. Listing shards
     >db.runCommand( { listshards : 1 } )
     如果列出了以上二个你加的shards，表示shards已经配置成功
    mongos> db.runCommand( { listshards : 1 } )
    {
        "shards" : [
            {
                "_id" : "s1",
                "host" : "shard1/192.168.20.11:28011,192.168.20.13:28013,192.168.20.15:28015"
            },
            {
                "_id" : "s2",
                "host" : "shard2/192.168.20.11:28012,192.168.20.13:28014,192.168.20.15:28016"
            }
        ],
        "ok" : 1
    }

    mongos> use config
    mongos> db.shards.find()
    { "_id" : "s1", "host" : "shard1/192.168.20.11:28011,192.168.20.13:28013,192.168.20.15:28015", "maxSize" : 2000000 }
    { "_id" : "s2", "host" : "shard2/192.168.20.11:28012,192.168.20.13:28014,192.168.20.15:28016", "maxSize" : 2000000 }

    
    5. 激活数据库分片
     命令：


     > db.runCommand( { enablesharding :"database_name"} );
     通 过执行以上命令，可以让数据库跨shard，如果不执行这步，数据库只会存放在一个shard，一旦激活数据库分片，数据库中不同的collection 将被存放在不同的shard上，但一个collection仍旧存放在同一个shard上，要使单个collection也分片，还需单独对 collection作些操作

    用客户端连接Mongos

    Mongo --port 50000

    >sh.enableSharding("database name")

    或者

    >db.runCommand( { enableSharding: <database> } )

    这样即可。

    如果你想对一个大的collection进行sharding可以执行如下命令

    sh.shardCollection("people.addresses", { "state": 1, "_id": 1 } )
    示例：
    mongos> use admin
    switched to db admin
    mongos> db.runCommand({enablesharding:"test"})
    { "ok" : 1 }
    mongos> use admin
    switched to db admin
    mongos> db.runCommand({shardcollection:"test.test",key:{_id:1}})
    { "collectionsharded" : "test.test", "ok" : 1 }
    mongos>

    mongos>for (var i =2; i <= 1200000; i++) db.user.save({_id:i,name:"teststaasdasdfasdfsa name",address:"adresss adfasdfasdfasdfasdfasdf",country:"china",province:"shanghai",city:"minhang"});
    mongos>db.test.stats()


    

数据迁移：

---------------------------------------------------------------------------------------------------------------------------------

    准备工作：在导入数据前，先配置好要分片的数据库及表。
    不然导入完成后，发现数据库，表没有同步到另外一个集群。

    我这里做了从原单机数据库数据导出后，再分片集群库中导入操作。
    
    当设置了要分片的库，及表后，系统会自动帮你添加库及表。
    设置完成后，就可以导入数据了。

    use admin
    db.runCommand({enablesharding:"ip"})
    db.runCommand({shardcollection:"ip.ipaddress",key:{ip1:1}})

    ./mongorestore -h 192.168.20.11 --port 28000 -d ip /opt/backup/ip20141109/ip

    
    ./mongorestore -h 192.168.20.11 --port 28000 -d dmp /opt/backup/dmp/dmp

参考：http://www.open-open.com/lib/view/open1329745095312.html



======================================================

测试后感觉这种架构不太适合我，只有两个分片，而却有3个节点的集群，磁盘空间的使用率不高。后决定修改架构：


集群调整

3台服务器，做成3个分片，每个分片有一个集群，

集群中有2台数据存储服务器+1台仲裁服务器

把仲裁服务器分别放在3台服务器中



host    ip        端口信息            arbiterOnly    
--------------------------------------------------------------------
mds1    192.168.20.11    mongod shard1:28011    
            mongod shard2:28012
            mongod shard3:28013 ------------ True

            mongod config1:28010
            mongs1:28000



mds2    192.168.20.13    mongod shard1:28011
            mongod shard2:28012 ------------ True
            mongod shard3:28013
            
            mongod config2:28010
            mongs2:28000



mds3    192.168.20.15    mongod shard1:28011 ------------ True
            mongod shard2:28012
            mongod shard2:28013

            mongod config3:28010
            mongs3:28000



对应的数据保存目录各为：

/opt/mongodb/data/shard1
/opt/mongodb/data/shard2
/opt/mongodb/data/shard3



集群配置：

shard1

> config = {_id: 'shard1', members: [
                           {_id: 0, host:'192.168.20.11:28011'},
                           {_id: 1, host:'192.168.20.13:28011'},
                           {_id: 2, host:'192.168.20.15:28011',"arbiterOnly":true}]
            }
 
> rs.initiate(config);

shard2

> config = {_id: 'shard2', members: [
                           {_id: 0, host:'192.168.20.11:28012'},
                           {_id: 1, host:'192.168.20.13:28012',"arbiterOnly":true},
                           {_id: 2, host:'192.168.20.15:28012'}]
            }
 
> rs.initiate(config);

rs.addArb("192.168.20.13:28012");
rs.add({_id: 1, host:'192.168.20.13:28012',"arbiterOnly":true})
rs.add({_id: 2, host:'192.168.20.15:28012'})

shard3

> cfg = {_id: 'shard3', members: [
                           {_id: 0, host:'192.168.20.13:28013'},
                           {_id: 1, host:'192.168.20.15:28013'},
               {_id: 2, host:'192.168.20.11:28013',"arbiterOnly":true}
               ]
            }
 
> rs.initiate(cfg);


修改优先权：

MongoDB replica sets中通过设置priority的值来决定优先权的大小，这个值的范围是0--100，值越大，优先权越高。
如果值是0，那么不能成为primay。

    cfg = rs.conf()
    cfg.members[0].priority = 1
    cfg.members[1].priority = 2
    cfg.members[2].priority = 3
    rs.reconfig(cfg)

说明：cfg.members[0].priority =
括号中的数字是执行rs.conf()得出的节点顺序，第一个节点在这里写0，第二个节点写1，依次类推。



config server 配置：
 
配置服务器的dbpath 放在软件安装目录（SSD硬盘）

mds1:

 ./mongod –configsvr –dbpath /home/mongo/mongodb2.6.4/config –port 28010 –logpath /home/mongo/mongodb2.6.4/logs/config.log –logappend –fork   
 
 #config server也需要dbpath
 
 mds2:

 ./mongod –configsvr –dbpath /home/mongo/mongodb2.6.4/config –port 28010 –logpath /home/mongo/mongodb2.6.4/logs/config.log –logappend –fork
 
mds3:

 ./mongod –configsvr –dbpath /home/mongo/mongodb2.6.4/config –port 28010 –logpath /home/mongo/mongodb2.6.4/logs/config.log –logappend –fork


配置mongs
 
在server1,server2,server3上分别执行：
 ./mongos –configdb 192.168.20.11:28010,192.168.20.13:28010,192.168.20.15:28010 –port 28000 –chunkSize 96 –logpath /home/mongo/mongodb2.6.4/logs/mongos.log –logappend –fork



分片配置：

     >db.runCommand({addshard:"shard1/192.168.20.11:28011,192.168.20.13:28011,192.168.20.15:28011"});
     >db.runCommand({addshard:"shard2/192.168.20.11:28012,192.168.20.13:28012,192.168.20.15:28012"});
     >db.runCommand({addshard:"shard3/192.168.20.11:28013,192.168.20.13:28013,192.168.20.15:28013"});



边城cn
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mongodb分片集群数据迁移（方案一）
dongxyang的专栏
07-22 3998
将现有mongodb副本集的数据迁移到新的分片集群中，设计三种迁移方案。 方案一：先同步数据，再建立分片集群，最后配置分片集群。 导出需要迁移的数据；建立第一个副本集；将数据导入到副本集中；增加另外两个副本集；启动config server；启动mongos server；配置分片集群。 1. 导出需要迁移的数据； /usr/local/mongo/bin/mongodum
MongoDB实战-操作分片集群，向分片集群中写入数据
wanght89的专栏
09-06 3207
ruby操作mongodb实现分片实战操作
记一次Mongodb数据从单机迁移到集群过程
克隆大菠萝的超市
12-23 2068
一.背景： 最近公司一个项目由于初期部署MongoDB使用单节点部署，考虑到业务量大了之后数据量随之增长，对数据库并发性，可靠性，容灾方面要求较高。所以决定新增三台服务器，组建MongoDB的集群，并将原单节点运行的部分数据迁移到新集群当中，同时实现不同业务系统间数据分离。把流量较大的业务系统的数据操作分配到新搭建的集群当中，提升数据读写性能。 二.基本信息： 软件版本：mongodb-4.0.11 系统环境如下： 编号 IP地址 操作系统 备注 A 192.168.9
MongoDB分片环境下整体数据迁移解决方案
个人视角下的技术领域探索
05-26 9106
背景：这周请了几天假，25号早上来了，就开始搞MongoDB数据库分片集群环境的整体迁移，起初以为很容易，但是在迁移的过程中，遇到了各种问题。还好经过两天的研究，现在终于搞定！匆忙之中，整理了一下文档，由于网上关于MongoDB数据库迁移的文章较少，顾发表了一篇blog，希望后面的小伙伴少走弯路，快速上路！ 一、部署架构图二、基础常识 1.路由服务器和分片服务器(单个副本集)认证
MongoDB数据库迁移（复制集集群迁移）
逃跑的肉丸的博客
01-12 4101
数据库(复制集)迁移 @(MongoDB)[复制集|迁移|] 数据库复制集迁移 前言 准备 架构图说明 步骤 1部署新节点 1 创建相应路径 2 修改启动文件 3 复制数据文件 4 启动新节点 2加入集群中 3检查数据同步状态 4切断新节点 1 创建临时数据 2 验证数据 3 移除新节点 5部署新复制集 1 启动其余节点 2 配置新复制集 6检查集群状态 总结
三、MongoDB复制集，分片集群
Xx__WangQi的博客
04-22 1263
一、MongoDB 高可用复制集架构 MongoDB 复制集 MongoDB复制集的主要意义在于实现服务高可用，类似于Redis中的哨兵模式 它主要提供两个方面的功能 1. 数据写入主节点（Primary）时将数据复制到另一个副本节（Secondary）点上 2. 主节点发生故障时自动选举出一个新的替代节点 在实现高可用的同时，复制集实现了其他几个作用 数据分发：将数据从一个区域复制到另一个区域，减少另一个区域的读延迟 读写分离：不同类型的压力分别在不同的节点上执行 异地容灾：在数据.
配置mongodb分片群集1
08-08
配置mongodb分片群集1
MySQLCluster与MongoDB复制群集分片设计及原理
03-02
分布式数据库能实现高安全、高性能、高可用等特征，当然也带来了高成本（固定成本及运营成本），我们通过MongoDB及MySQLCluster从实现上来分析其中的设计思路，用以抽象我们在设计数据库时，可以引用的部分设计方法...
MongoDB的分片集群基本配置教程
09-10
MongoDB拥有经典的Sharding架构能将数据分散存储在数个服务器上以作集群,这里我们就来看一下MongoDB的分片集群基本配置教程:
详解MongoDB4.0构建分布式分片群集
09-09
主要介绍了详解MongoDB4.0构建分布式分片群集，详细的介绍了什么是MongoDB分片和具体使用，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
5分钟搞定 MongoDB 到 MongoDB 数据迁移和同步-CloudCanal实战
cjh0828的博客
07-02 910
本文简单介绍了如何使用 CloudCanal 进行 MongoDB -> MongoDB 数据迁移同步。
Mongodb主从复制/ 副本集/分片集群介绍
weixin_34220834的博客
07-19 231
  前面的文章介绍了Mongodb的安装使用，在 MongoDB 中,有两种数据冗余方式,一种 是 Master-Slave 模式（主从复制）,一种是 Replica Sets 模式（副本集）。 Mongodb一共有三种集群搭建的方式： Replica Set（副本集）、 Sharding（切片） Master-Slaver（主从）【目前已不推荐使用了！！！】 其中，Shard...
分布式缓存Hazelcast详解及原理探究
qianfeng_dashuju的博客
09-23 724
一. Hazelcast 1. Hazelcast简介 Hazelcast 是由Hazelcast公司开发的一款开源的分布式内存级别的缓存数据库，可以为基于JVM环境运行的各种应用提供分布式集群和分布式缓存服务。 利用Hazelcast可以满足“分布式”、“集群服务”、“网格式内存数据”、“分布式缓存“、“弹性可伸缩服务”等的要求。 2. Hazelcast的应用 Hazelcast提供了对很多 Java 接口的分布式实现，如Map, Queue, ExecutorService, Lock以及
MongoDB副本集节点状态为OTHER时的解决方法
m0_43605481的博客
10-16 4224
问题描述： 使用已存在的MongoDB服务文件夹进行创建协同服务，显示创建成功并正在运行， 但连接失败。 解决思路： 原来的A2DB文件创建出来的协同权限有问题，使用无权限服务连接之后将数据导出，重新创建正确的有权限的协同服务，并将数据恢复。 （PS：这个思路是将原来问题绕开导出数据的方式，如果有更直接的方式欢迎指正~） 解决方法记录： 1、使用命令进行查看副本集的状态 以本机Mongo路径为例： 首先cd到mongod.exe所在的bin文件夹下，cd /d H:\zwpd_3.4\ThirdPart
MongoDB4.0 分片集群+复制集+读写分离详细搭建教程
lvshaorong的博客
05-13 7388
最近由于要存储大规模结构化数据，想到了MongoDB的口号For giant ideas，于是假设了下图架构的一个mongoDB集群。 先说说选型的原因，结构化数据很多数据库都可以存储，最常用的是mysql，而且mysql的集群也屡见不鲜。比如mycat或者mysqlproxy这种数据库网关就可以放置在多个普通的mysql服务器前面，或者像腾讯退出的TDSQL这种商业版本也是有内置数据库网关的，...
Mongodb将原有副本集数据迁移到分片存储
houhongyun的博客
12-04 2422
原有mongodb主从模式迁移到Shard 分片模式
MongoDB集群间环境迁移
每天进步一点点
08-21 3580
1 迁移准备 采用该文档进行MongoDB集群环境迁移，需确保 1. 两套MongoDB集群环境架构一致，且采用命令方式部署。本文档以如下架构集群MongoDB为例进行讲解MongoDB集群迁移部署。 MongoDB集群部署拓扑图   2. 两套MongoDB软件版本一致 2 迁移进行时 2.1 上传、解压MongoDB安装包 2.2 检验各MongoDB服务器的时间 2.3 创
mongodb replica sets复制集详解
热门推荐
Brent的专栏
06-07 1万+
一.replica sets介绍 一个复制集是一组包含相同数据集的mongod实例.一个复制集只能有一个是primary节点,其它的节点为secondary节点. 和主从复制的原理一样,复制集也是通过读取oplog来进行数据传输.oplog是一个capped collection即固定表,创建表的时候可以指定其大小,当oplog满的时候会删除旧的数据.所以设置oplog的大小非常重要,如果
mongodb数据迁移2种方式比较
weixin_33889665的博客
03-08 1477
环境说明：bbs数据采集的数据越来越多，目前是50G，每天大概以200W的数据量增长。而当前服务器1.2上面的空间不足，需要把数据迁移到空间足够大的1.3上面去 尝试了2种方式对数据进行迁移，一种是rsync，直接拉取数据；另一种是使用mongodump/mongorestore 1.rsync 操作步骤： 1.2： [mongodb] p...
mongodb6.0 分片集群 数据迁移
最新发布
02-24
在 MongoDB 6.0 中，数据迁移是将数据从一个分片迁移到另一个分片的过程。数据迁移可以用于多种情况，例如添加新的分片、调整现有分片的大小或重新平衡集群中的数据。 以下是 MongoDB 6.0 中分片集群数据迁移的一般...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值