2016年03月_磨刀人

原创 mongoDB——split&balance操作

split&balance整体流程正如三国中说的，分久必合合久必分、mongoDB数据库也是处于分分合合的动态平衡中。但这里所谓的“合”，只是针对shard所属的chunk块而言的。 split&balance处理示意图：处理流程①、发送write请求。②、数据写之前，检测到chunk块的大小超过了预设值（默认是64MB，可变动），进行split③、c

2016-03-31 22:17:25 3011

原创 mongoDB——read&write操作

为了后续单独描述chunk块的balance&split的处理流程，此处不涉及。但别误解两者并非没有关联关系。Read&WritemongoDB给我的感觉就是，一根肠子通到地，所有的处理就是看似有点单线程的意思。示意图如下：处理流程：事前处理 Ⅰ、集群启动后，config server获取到整个集群的metadata，为之后寻址做准备。

2016-03-31 21:34:57 1260

原创 mongoDB——shard简介

shard shard是mongoDB的数据存储构件。是逻辑上的一种称呼，集群中，shard是一个instance的集合。如下图所示：示意图画的不好，纯粹是为了自己记忆存档而用，莫喷。一般为了数据的安全性，shard构建成1primary+2secondary的模型。关于数据分布 mongoDB内部处理数据均衡，有

2016-03-31 21:19:12 2080

原创 mongoDB——router server

router server 英文的好处就是见名知意，router即路由的意思，很明显。用户的请求拿到后，与config server通信，发送请求，在config server上存储了整个系统的metadata，根据metadata，系统就知道了shard与chunk的对应关系，查找的key-values的地址就寻址结束了，接下来的就是直奔shard上对数据进行read/write了。

2016-03-31 20:14:41 1552

原创 mongoDB——metadata之我见

mongoDB存储引擎说到mongoDB的metadata信息，先介绍一下mongoDB的存储类别。mongoDB3.2.4支持一下5种： WiredTiger（默认） MMAPv1 InMomery Encrypted 3rd Party Enginemetadata信息从文件构造上来说，mongoDB的元数据包括： Co

2016-03-31 17:18:32 4119

原创 NoSQL——Redis初相见

初见Redis 无意中看到一篇博文讲Spark+Redis结合后，查询效率比spark缓存的速度快了45倍【不是45%】，再加上之前跟对面组做运维的交流的时候，知道他们也在使用Redis，好奇心之下，看完blog后，去官网下载了最新版的redis-3.0.7。没想到的是，这神奇的东东原来只有1.5M，更加对其有好奇心了。安装手顺很简单，用过linux系统的，应该觉得

2016-03-31 15:22:02 554 1

转载 IT思想——从数据仓库到大数据，数据平台这25年是怎样进化的？

我是从2000年开始接触数据仓库，大约08年开始进入互联网行业。很多从传统企业数据平台转到互联网同学是否有感觉：非互联网企业、互联网企业的数据平台所面向用户群体是不同的。那么，这两类的数据平台的建设、使用用户又有变化？数据模型设计又有什么不同呢？我们先从两张图来看用户群体的区别。点击打开链接

2016-03-31 13:35:19 490

转载 PostgreSQL——Psql Command to Attach Gdb to Backend

Psql Command to Attach Gdb to Backend以后想debug的话，又多了一种选择。http://akorotkov.github.io/blog/2015/08/26/psql-gdb-attach/

2016-03-31 10:29:21 484

转载 PostgreSQL——Monitoring Wait Events in PostgreSQL 9.6

Monitoring Wait Events in PostgreSQL 9.6 #关注postgresql的可以看看Robert Haas的这篇博文。http://akorotkov.github.io/blog/2016/03/25/wait_monitoring_9_6/

2016-03-31 10:14:35 442

原创 Data Virtualization——Cisco 数据虚拟化平台

背景最近XXX公司想开发一套优于传统单个BI以及分析工具的系统，并想了解一下市场上，各个公司产品的占有率，遂拜托我们调查以下2种产品。Cisco Data VirtualizationRedhat Jboss（本人未参与调查，此处不涉及）概要对于传统的BI工具和分析工具，其底层的数据源比较单一，要么都是传统关系型数据库，要么是E

2016-03-31 09:35:42 1426

原创 mongodb_write&read操作

read&write示意图如下，画得比较丑，只是为了自己理解存档。

2016-03-30 09:38:14 480

原创 mongodb_Mongo3.2.4框架及角色介绍

个人理解 mongoDB的框架，是我使用的所有数据库中最特别的一个，或者说是比较特殊的一种。首先，框架相比hadoop，hbase之类的大数据库来说，构造比较简单。其次，维持数据库使用的角色只有2中，mongod和mongos。最后，shard分片中，依据结果导向，是去中心化的，即人人为我，我为人人，没有主从的概念，比较和谐。mongoDB3.2.4 框架

2016-03-30 08:48:10 785