- 博客(12)
- 收藏
- 关注
原创 mongoDB——split&balance操作
split&balance整体流程 正如三国中说的,分久必合合久必分、mongoDB数据库也是处于分分合合的动态平衡中。但这里所谓的“合”,只是针对shard所属的chunk块而言的。 split&balance处理示意图:处理流程①、发送write请求。②、数据写之前,检测到chunk块的大小超过了预设值(默认是64MB,可变动),进行split③、c
2016-03-31 22:17:25 3011
原创 mongoDB——read&write操作
为了后续单独描述chunk块的balance&split的处理流程,此处不涉及。但别误解两者并非没有关联关系。Read&WritemongoDB给我的感觉就是,一根肠子通到地,所有的处理就是看似有点单线程的意思。示意图如下:处理流程:事前处理 Ⅰ、集群启动后,config server获取到整个集群的metadata,为之后寻址做准备。
2016-03-31 21:34:57 1260
原创 mongoDB——shard简介
shard shard是mongoDB的数据存储构件。 是逻辑上的一种称呼,集群中,shard是一个instance的集合。如下图所示: 示意图画的不好,纯粹是为了自己记忆存档而用,莫喷。一般为了数据的安全性,shard构建成1primary+2secondary的模型。关于数据分布 mongoDB内部处理数据均衡,有
2016-03-31 21:19:12 2080
原创 mongoDB——router server
router server 英文的好处就是见名知意,router即路由的意思,很明显。用户的请求拿到后,与config server通信,发送请求,在config server上存储了整个系统的metadata,根据metadata,系统就知道了shard与chunk的对应关系,查找的key-values的地址就寻址结束了,接下来的就是直奔shard上对数据进行read/write了。
2016-03-31 20:14:41 1556
原创 mongoDB——metadata之我见
mongoDB存储引擎 说到mongoDB的metadata信息,先介绍一下mongoDB的存储类别。mongoDB3.2.4支持一下5种: WiredTiger(默认) MMAPv1 InMomery Encrypted 3rd Party Enginemetadata信息 从文件构造上来说,mongoDB的元数据包括: Co
2016-03-31 17:18:32 4119
原创 NoSQL——Redis初相见
初见Redis 无意中看到一篇博文讲Spark+Redis结合后,查询效率比spark缓存的速度快了45倍【不是45%】,再加上之前跟对面组做运维的交流的时候,知道他们也在使用Redis,好奇心之下,看完blog后,去官网下载了最新版的redis-3.0.7。没想到的是,这神奇的东东原来只有1.5M,更加对其有好奇心了。安装手顺 很简单,用过linux系统的,应该觉得
2016-03-31 15:22:02 554 1
转载 IT思想——从数据仓库到大数据,数据平台这25年是怎样进化的?
我是从2000年开始接触数据仓库,大约08年开始进入互联网行业。很多从传统企业数据平台转到互联网同学是否有感觉:非互联网企业、互联网企业的数据平台所面向用户群体是不同的。那么,这两类的数据平台的建设、使用用户又有变化?数据模型设计又有什么不同呢?我们先从两张图来看用户群体的区别。点击打开链接
2016-03-31 13:35:19 490
转载 PostgreSQL——Psql Command to Attach Gdb to Backend
Psql Command to Attach Gdb to Backend以后想debug的话,又多了一种选择。http://akorotkov.github.io/blog/2015/08/26/psql-gdb-attach/
2016-03-31 10:29:21 484
转载 PostgreSQL——Monitoring Wait Events in PostgreSQL 9.6
Monitoring Wait Events in PostgreSQL 9.6 #关注postgresql的可以看看Robert Haas的这篇博文。http://akorotkov.github.io/blog/2016/03/25/wait_monitoring_9_6/
2016-03-31 10:14:35 442
原创 Data Virtualization——Cisco 数据虚拟化平台
背景 最近XXX公司想开发一套优于传统单个BI以及分析工具的系统,并想了解一下市场上,各个公司产品的占有率,遂拜托我们调查以下2种产品。Cisco Data VirtualizationRedhat Jboss(本人未参与调查,此处不涉及) 概要 对于传统的BI工具和分析工具,其底层的数据源比较单一,要么都是传统关系型数据库,要么是E
2016-03-31 09:35:42 1426
原创 mongodb_Mongo3.2.4框架及角色介绍
个人理解 mongoDB的框架,是我使用的所有数据库中最特别的一个,或者说是比较特殊的一种。 首先,框架相比hadoop,hbase之类的大数据库来说,构造比较简单。 其次,维持数据库使用的角色只有2中,mongod和mongos。 最后,shard分片中,依据结果导向,是去中心化的,即人人为我,我为人人,没有主从的概念,比较和谐。mongoDB3.2.4 框架
2016-03-30 08:48:10 785
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人