自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(12)
  • 收藏
  • 关注

原创 mongoDB——split&balance操作

split&balance整体流程  正如三国中说的,分久必合合久必分、mongoDB数据库也是处于分分合合的动态平衡中。但这里所谓的“合”,只是针对shard所属的chunk块而言的。    split&balance处理示意图:处理流程①、发送write请求。②、数据写之前,检测到chunk块的大小超过了预设值(默认是64MB,可变动),进行split③、c

2016-03-31 22:17:25 3008

原创 mongoDB——read&write操作

为了后续单独描述chunk块的balance&split的处理流程,此处不涉及。但别误解两者并非没有关联关系。Read&WritemongoDB给我的感觉就是,一根肠子通到地,所有的处理就是看似有点单线程的意思。示意图如下:处理流程:事前处理 Ⅰ、集群启动后,config server获取到整个集群的metadata,为之后寻址做准备。       

2016-03-31 21:34:57 1260

原创 mongoDB——shard简介

shard    shard是mongoDB的数据存储构件。    是逻辑上的一种称呼,集群中,shard是一个instance的集合。如下图所示:    示意图画的不好,纯粹是为了自己记忆存档而用,莫喷。一般为了数据的安全性,shard构建成1primary+2secondary的模型。关于数据分布    mongoDB内部处理数据均衡,有

2016-03-31 21:19:12 2079

原创 mongoDB——router server

router server   英文的好处就是见名知意,router即路由的意思,很明显。用户的请求拿到后,与config server通信,发送请求,在config server上存储了整个系统的metadata,根据metadata,系统就知道了shard与chunk的对应关系,查找的key-values的地址就寻址结束了,接下来的就是直奔shard上对数据进行read/write了。

2016-03-31 20:14:41 1552

原创 mongoDB——metadata之我见

mongoDB存储引擎    说到mongoDB的metadata信息,先介绍一下mongoDB的存储类别。mongoDB3.2.4支持一下5种:   WiredTiger(默认)   MMAPv1   InMomery   Encrypted   3rd Party Enginemetadata信息     从文件构造上来说,mongoDB的元数据包括:   Co

2016-03-31 17:18:32 4116

原创 NoSQL——Redis初相见

初见Redis   无意中看到一篇博文讲Spark+Redis结合后,查询效率比spark缓存的速度快了45倍【不是45%】,再加上之前跟对面组做运维的交流的时候,知道他们也在使用Redis,好奇心之下,看完blog后,去官网下载了最新版的redis-3.0.7。没想到的是,这神奇的东东原来只有1.5M,更加对其有好奇心了。安装手顺    很简单,用过linux系统的,应该觉得

2016-03-31 15:22:02 554 1

转载 IT思想——从数据仓库到大数据,数据平台这25年是怎样进化的?

我是从2000年开始接触数据仓库,大约08年开始进入互联网行业。很多从传统企业数据平台转到互联网同学是否有感觉:非互联网企业、互联网企业的数据平台所面向用户群体是不同的。那么,这两类的数据平台的建设、使用用户又有变化?数据模型设计又有什么不同呢?我们先从两张图来看用户群体的区别。点击打开链接

2016-03-31 13:35:19 490

转载 PostgreSQL——Psql Command to Attach Gdb to Backend

Psql Command to Attach Gdb to Backend以后想debug的话,又多了一种选择。http://akorotkov.github.io/blog/2015/08/26/psql-gdb-attach/

2016-03-31 10:29:21 484

转载 PostgreSQL——Monitoring Wait Events in PostgreSQL 9.6

Monitoring Wait Events in PostgreSQL 9.6 #关注postgresql的可以看看Robert Haas的这篇博文。http://akorotkov.github.io/blog/2016/03/25/wait_monitoring_9_6/

2016-03-31 10:14:35 442

原创 Data Virtualization——Cisco 数据虚拟化平台

背景         最近XXX公司想开发一套优于传统单个BI以及分析工具的系统,并想了解一下市场上,各个公司产品的占有率,遂拜托我们调查以下2种产品。Cisco Data VirtualizationRedhat Jboss(本人未参与调查,此处不涉及)  概要      对于传统的BI工具和分析工具,其底层的数据源比较单一,要么都是传统关系型数据库,要么是E

2016-03-31 09:35:42 1425

原创 mongodb_write&read操作

read&write示意图如下,画得比较丑,只是为了自己理解存档。

2016-03-30 09:38:14 480

原创 mongodb_Mongo3.2.4框架及角色介绍

个人理解  mongoDB的框架,是我使用的所有数据库中最特别的一个,或者说是比较特殊的一种。  首先,框架相比hadoop,hbase之类的大数据库来说,构造比较简单。  其次,维持数据库使用的角色只有2中,mongod和mongos。  最后,shard分片中,依据结果导向,是去中心化的,即人人为我,我为人人,没有主从的概念,比较和谐。mongoDB3.2.4 框架

2016-03-30 08:48:10 785

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除