mongodb的sharding(分片)横向扩容的方法

转载 2016年08月29日 17:48:05

sharding是mongodb进行横向扩容的方法sharding把一个集合的不同部分存储到不同的机器上,当一个数据库集合变得很大时,你只需要加入新的机器即可。sharding自动把集合的数据分布到新的服务器上,sharding自动实现数据和读写负载均衡。

为了使集群具有sharding功能,首先需要建立一个sharding集群。然后就可以在集群内指定某个数据库是否启用sharding,在启用sharding的数据库内,可以选择哪个集合(collection)可以sharding,每个sharding的集合要有一个shard key。shard key用于决定该集合内的所有文档如何在集群内的机器上分布。shard key是一个字段,存在于每一个文档中。一个给定的分片保存了所有key值在其范围内的文档。shard key如同indexes一样,可以使单字段或多字段的。

在一个shard内,mongodb还把文档分为chunks,每个chunk代表本shard内的一个小的范围。当一个chunk的大小超过chunk size时,mongodb把chunk切分为更小的chunk,但依然属于这个shard。

shard key的选择

shard key的好坏直接影响到集群的性能,容量和能力。选择shard key要考虑数据的模式和你的应用程序读写数据库的方式。

理想的shard key具有以下特点:

    1. 易于切分,最好是无限的。

    2. 具有高度的随机性。

    3. 应该是你的请求的主要字段。

mongodb使用balancing进行分布式数据均衡。当一个shard与其它shard相比具有太多的chunk时,mongodb自动在shard间均衡数据,但应用层对此无感知。

sharding会给集群带来一些负载,在以下情况发生时,可以考虑使用sharding:

1. 数据接近或超过单个节点的存储容量。

2.系统中活动working set的大小很快将要超过系统RAM的最大容量。

3.系统有大量的写请求,单个mongodb实例不足以支持。

设计系统时,如果预见到最终需要扩容时,考虑哪个集合需要sharding,并为其设计shard key。

一个sharded集群需要以下配置:


  • 三台配置服务器.


  • 2台以上的shards服务器,每个服务器运行一个或多个mongod实例。


  • 一个或多个mongos实例

相关文章推荐

MongoDB 性能瓶颈分析

一、前情简介  半个月前,公司的MongoDB压力由于用户量暴增导致压力急剧增加,读写能力下降。  因为对于Mongos 的集群分片机制的了解和测试还不是很充分,所以开始使用最简单的办法来解决...

MongoDB 分片问题汇总

分片是MongoDB的扩展方式,通过分片能够增加更多的机器来用对不断增加的负载和数据,还不影响应用. 1.分片简介 分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分...
  • joeyon
  • joeyon
  • 2015-05-28 15:01
  • 2327

纵向扩展与横向扩展

Scale Out是指Application可以在水平方向上扩展。一般对数据中心的应用而言,Scale out指的是当添加更多的机器时,应用仍然可以很好的利用这些机器的资源来提升自己的效率从而达到很好...

MongoDB集群如何无缝扩容扩展

1、什么情况下需要进行扩容 数据量接近单机磁盘总容量 数据容量接近磁盘容量80% df内存使用量接近内存容量80% free访问量 iostat -xdk 1 storage与dat...

关于Mongodb的全面总结

MongoDB的内部构造《MongoDB The Definitive Guide》 MongoDB的官方文档基本是how to do的介绍,而关于how it worked却少之又少,本人也刚...

MongoDB集群搭建及Sharding的实现思路

MongoDB集群搭建及Sharding的实现思路 2014-03-28 09:35 zuzhou 51CTO博客 我要评论(0) 字号:T | T 选择一个合适索引而减少...

关于MongoDB分布式高可用集群实现

一、环境准备 1.本例使用3台Linux主机,IP地址如下: 点击(此处)折叠或打开 Server A: 192...

mongo扩容

目前部署是mongoS有三台,即mongo服务器 mongoDb有三组,每一组有三台主副机,其中一台主,两台副 起初在设置的时候,每组副本集其IP都在server.conf里面写死了,一组...

MongoDB分片(sharding)/分区(partitioning)介绍

分片是指将数据拆分,将其分散存放在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。   几乎所有数据库软件都能进行手动分片(manual sharding)。应用需要维护与...

MongoDB分片实战

1. 集群搭建 1.1环境准备 Linux环境 主机 OS 备注 192.168.32.13  CentOS6.3 64位  ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)