mongodb - 分片-实操

分片：增删查操作

• 查看当前数据库状态:db.colname.stats()
  • 可以看到所有索引的状态，可以知道新增分片后对于索引的影响
• 查看分片状态: db.colname.getShardDistribution() #可以查看数据分布

Shard shard2 at shard2/10.210.163.122:27030
 data : 4.22MiB docs : 7374 chunks : 8
 estimated data per chunk : 540KiB
 estimated docs per chunk : 921

Shard shard1 at shard1/10.210.163.121:27030
 data : 7.75MiB docs : 14284 chunks : 8
 estimated data per chunk : 992KiB
 estimated docs per chunk : 1785

Totals
 data : 11.97MiB docs : 21658 chunks : 16
 Shard shard2 contains 35.24% data, 34.04% docs in cluster, avg obj size on shard : 600B
 Shard shard1 contains 64.75% data, 65.95% docs in cluster, avg obj size on shard : 569B
 
 # 上面列出了有几个分片，然后有几个chunk
 # estimated data per chunk 每块chunk 估计有多少数据

• 查看chunk中的min和max，以及所属的shard

use config
db.chunks.find() # 查看所有chunk的信息
db.chunks.find("ns":"sharding_key_name")

• 创建范围片键和创建hash片键

# 范围片键
admin> sh.shardCollection("数据库名称.集合名称",key : {分片键: 1}  )
或
admin> db.runCommand( { shardcollection : "数据库名称.集合名称",key : {分片键: 1} }

# hash片键
admin> db.vast.ensureIndex( { a: "hashed" } )
admin> sh.shardCollection( "test.vast", { a: "hashed" } )

• 删除分片

use config # 切换到config配置库
db.collections.find() # 查看所有添加的片键
db.collections.remove( { _id: "test.test" } )
db.chunks.remove( { ns: "test.test" } )
db.locks.remove( { _id: "test.test" } )

# 到admin库刷新路由信息
use admin
db.adminCommand("flushRouterConfig")

• 为什么要做这么多步操作？
• 因为如果不删除干净,后面再去添加会报错如下

{ 
    "ok" : 0, 
    "errmsg" : "sharding already enabled for collection test.test", 
    "code" : 20
}

python操作新增分片键

• 新增一个分片键（range）

db_client = MgoClientDao()
db_client = db_client['admin']
result = db_client.command('shardcollection', 'db_name.table_name',
                           key={
                               "ip": 1
                           })

• 新增一个分片键（hash）

db_client = MgoClientDao()
db_client = db_client['admin']
result = db_client.command('shardcollection', 'db_name.table_name',
                           key={
                               "ip": "hashed"
                           })

• 删除分片键

def delete_sharding_key():
    db_client = MgoClientDao(target=Config.db_target, socket_timeout_ms=Config.socket_timeout_ms)
    db_client = db_client['config']
    res = db_client["collection"].delete_one({"_id": '{}.{}'.format(Config.db_name, Config.collection_name)})
    logger.info("collection res :{}".format(res.raw_result))
    res = db_client["chunk"].delete_many({"ns": '{}.{}'.format(Config.db_name, Config.collection_name)})
    logger.info("chunk res :{}".format(res.raw_result))
    res = db_client["locks"].delete_one({"_id": '{}.{}'.format(Config.db_name, Config.collection_name)})
    logger.info("locks res :{}".format(res.raw_result))

可能遇到数据全部分布在一个分片上？

• 1，数据量不够，只导入了30W,后面再新增十几万后就开始分配到两个集群上了
• 2，balance不是立马生效，后面自动balance，会把两个分片均衡下来

分片了的某个mongodb数据量突然变多 ？

• 这是因为分片在Rebalance导致
  • 在move chunk过程中，如果move chunk没有完成，这时数据在源端和目标端分片上都存在
  • 这时在这个分片上执行无谓词条件的count时，源端和目标端上未迁移完成的chunk的数据都纳入了统计，所以会看到结果值会有一个上升
  • 当copy data结束并修改元数据后，在源分片上开始清理数据，所以到了这个阶段，count值会逐渐减少
  • count值减少的过程相对比较缓慢，应该是由于清理源端分片数据花的时间要比copy数据更长
• 解决办法：
  • 升级mongodb到4.0以上
  • 用aggregate去做count统计