NoSQL
文章平均质量分 62
磨刀人
磨刀的历程,也就是磨练自己心智的路程。。。。
展开
-
NoSQL——Redis初相见
初见Redis 无意中看到一篇博文讲Spark+Redis结合后,查询效率比spark缓存的速度快了45倍【不是45%】,再加上之前跟对面组做运维的交流的时候,知道他们也在使用Redis,好奇心之下,看完blog后,去官网下载了最新版的redis-3.0.7。没想到的是,这神奇的东东原来只有1.5M,更加对其有好奇心了。安装手顺 很简单,用过linux系统的,应该觉得原创 2016-03-31 15:22:02 · 554 阅读 · 1 评论 -
bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hbase集群构筑
整体流程物件下载解压conf文件配置启动&停止状态确认物件下载 参考hbase官网解压 tar -zxvf hbase-***.gzconf文件配置1.hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_67export HBASE_MANAGES_ZK=false注意:JDK根据自己的环境配置原创 2016-04-01 15:10:29 · 507 阅读 · 0 评论 -
HBase——关于Region
RegionRegion是HBase数据管理的基本呢单位。数据的move,数据的balance,数据的split,都是按照region来进行操作的。region中存储这用户的真实数据,而为了管理这些数据,HBase使用了RegionSever来管理region。寻址过程数据寻址的一般过程如下,请参照: zookeeper原创 2016-04-05 11:23:42 · 8886 阅读 · 1 评论 -
HBase——查询延迟的时间分布
查询时间对于HBase的查询而言,大体时间分为zookeeper检查时间WAL Split时间Region重新分布时间WAL Replay时间zookeeper检查时间 影响要素: zookeeper跟regionserver之间session的timeout时间 关联设置: 1. zookeeper.session.timeout 默认原创 2016-04-06 09:01:51 · 4068 阅读 · 0 评论 -
Redis——如何阅读 Redis 源码?
PS:不错的帖子,先收藏了原文链接:如何阅读 Redis 源码?在这篇文章中,我将向大家介绍一种我认为比较合理的 Redis 源码阅读顺序,希望可以给对 Redis 有兴趣并打算阅读 Redis 源码的朋友带来一点帮助转载 2016-04-06 17:22:08 · 1236 阅读 · 0 评论 -
Mongoose使用案例–让JSON数据直接入库MongoDB
为什么用Nodejs?为什么用MongoDB?从领域语言和代码简洁之道来看,这是我非常关心的问题。Nodejs基于Javascript,MongoDB脚步同样也是基于Javascript。而且他们的数据存储格式都是JSON,这就是为什么要把他们放在一起的原因了。如果程序前后端能直接处理JSON,我想数据处理过程又可以极大的减化了,代码量又将低少1/5。多么的兴奋啊!让我们来动手验证一下想法转载 2016-04-07 17:59:25 · 577 阅读 · 0 评论 -
DEBUG——redhat下安装eclipse&debug redis源码
背景今天心血来潮,想看看redis的源码,尝试debug一下,找了半天之前的虚拟机,上面却没有预先安装eclispe,对于GCC的调试又不会,思索之下,还是装个eclipse,虽然本人的JAVA很烂,但调试个C代码还是有信心的。物件因这次是调试C代码的,所以在下载eclipse的时候,选取了跟C相关的版本:eclipse-cpp-luna-SR1a-linux-gtk-x8原创 2016-04-08 13:41:02 · 1404 阅读 · 0 评论 -
Redis——源码分析之redis-server
概要 最近一直尝试去看点心东西,但又没有目标,想到之前计划要看的Redis源码,早上搭建了环境。代码是在Linux redhat6.5下托管着,在vmware下使用eclipse粘贴复制很不方便,遂使用xmanager工具配合eclipse来使用。事前准备xmanagereclipse(for c/c++)安装安装xmanager就是一路next,没有什原创 2016-04-11 11:38:21 · 2189 阅读 · 0 评论 -
Redis-3.0.7_初步解析redis-cli
概要对redis3.0.7内部的一些处理理解不是很清楚,自己根据代码的调用关系,画出了简易的UML图,粒度把握不全,可能有些地方画得不对,请指摘。今天是从redis client的角度来看redis的。跟一般的CLI工具一样,大体有以下一些处理:初始化client的一些配置接受传入的参数逐个解析参数,跟配置文件不相同的,覆盖conf文件中参数的值client连接到server端原创 2016-04-12 16:49:56 · 1153 阅读 · 0 评论 -
bigdata——HBase+zookeeper+Hadoop集群构筑 之 zookeeper集群构筑
整体流程zookeeper物件下载物件解压zoo.cfg文件作成zoo.cfg文件设定dataDir的 ID作成zookeeper物件zookeeper官网下载,此处使用的是zookeeper-3.5.1-alpha。物件解压直接使用如下命令tar -zxvf zookeeper-****-***.gzzoo.cfg文件作成命令如原创 2016-04-01 14:51:52 · 450 阅读 · 0 评论 -
mongodb_write&read操作
read&write示意图如下,画得比较丑,只是为了自己理解存档。原创 2016-03-30 09:38:14 · 480 阅读 · 0 评论 -
Data Virtualization——Cisco 数据虚拟化平台
背景 最近XXX公司想开发一套优于传统单个BI以及分析工具的系统,并想了解一下市场上,各个公司产品的占有率,遂拜托我们调查以下2种产品。Cisco Data VirtualizationRedhat Jboss(本人未参与调查,此处不涉及) 概要 对于传统的BI工具和分析工具,其底层的数据源比较单一,要么都是传统关系型数据库,要么是E原创 2016-03-31 09:35:42 · 1425 阅读 · 0 评论 -
mongodb_Mongo3.2.4框架及角色介绍
个人理解 mongoDB的框架,是我使用的所有数据库中最特别的一个,或者说是比较特殊的一种。 首先,框架相比hadoop,hbase之类的大数据库来说,构造比较简单。 其次,维持数据库使用的角色只有2中,mongod和mongos。 最后,shard分片中,依据结果导向,是去中心化的,即人人为我,我为人人,没有主从的概念,比较和谐。mongoDB3.2.4 框架原创 2016-03-30 08:48:10 · 785 阅读 · 0 评论 -
mongoDB——metadata之我见
mongoDB存储引擎 说到mongoDB的metadata信息,先介绍一下mongoDB的存储类别。mongoDB3.2.4支持一下5种: WiredTiger(默认) MMAPv1 InMomery Encrypted 3rd Party Enginemetadata信息 从文件构造上来说,mongoDB的元数据包括: Co原创 2016-03-31 17:18:32 · 4117 阅读 · 0 评论 -
mongoDB——router server
router server 英文的好处就是见名知意,router即路由的意思,很明显。用户的请求拿到后,与config server通信,发送请求,在config server上存储了整个系统的metadata,根据metadata,系统就知道了shard与chunk的对应关系,查找的key-values的地址就寻址结束了,接下来的就是直奔shard上对数据进行read/write了。原创 2016-03-31 20:14:41 · 1552 阅读 · 0 评论 -
mongoDB——shard简介
shard shard是mongoDB的数据存储构件。 是逻辑上的一种称呼,集群中,shard是一个instance的集合。如下图所示: 示意图画的不好,纯粹是为了自己记忆存档而用,莫喷。一般为了数据的安全性,shard构建成1primary+2secondary的模型。关于数据分布 mongoDB内部处理数据均衡,有原创 2016-03-31 21:19:12 · 2079 阅读 · 0 评论 -
mongoDB——read&write操作
为了后续单独描述chunk块的balance&split的处理流程,此处不涉及。但别误解两者并非没有关联关系。Read&WritemongoDB给我的感觉就是,一根肠子通到地,所有的处理就是看似有点单线程的意思。示意图如下:处理流程:事前处理 Ⅰ、集群启动后,config server获取到整个集群的metadata,为之后寻址做准备。原创 2016-03-31 21:34:57 · 1260 阅读 · 0 评论 -
mongoDB——split&balance操作
split&balance整体流程 正如三国中说的,分久必合合久必分、mongoDB数据库也是处于分分合合的动态平衡中。但这里所谓的“合”,只是针对shard所属的chunk块而言的。 split&balance处理示意图:处理流程①、发送write请求。②、数据写之前,检测到chunk块的大小超过了预设值(默认是64MB,可变动),进行split③、c原创 2016-03-31 22:17:25 · 3009 阅读 · 0 评论 -
mongoDB——wiredTiger副本集模型的成员角色
mongoDB的理解,现阶段在串联调查的知识点,以后开始解析代码,从逻辑层面来再次确认理解不正确或者认识不足的地方。Replica-set之前接触过的NoSQL数据库,比如:hbase,hive来说,为了数据的安全性和可扩展性考虑,都是是用master-slave的模型,master节点永远承担这read&write,slave就是冷备份,只有当master发生宕机的情况下,众原创 2016-04-01 10:16:51 · 437 阅读 · 0 评论 -
bigdata——HBase+zookeeper+Hadoop集群构筑 之 Hadoop YARN集群构筑
最近项目调查闲下来了,有时间让大脑来整体之前做过的调查,为了便于基于存档,遂将其记录下来,希望对后来者有所帮助。背景为了了解Hbase集群下数据的查询以及安全性方面的性能数据,需要搭建HBase集群,简单测试。角色分类+--------------+-------------+---------------------+-----------------+|原创 2016-04-01 14:26:27 · 598 阅读 · 0 评论