西代零零发

既然选择远方,便只顾风雨兼程

Hadoop加速器GridGain

GridGain的Hadoop加速器像GridGain等内存网格产品(IMDG)不仅可以作为简单的缓存,加速Hadoop中MapReduce计算也是IMDG的一个亮点。这样内存计算领域又多了一种思路和选择,而不只是Spark独霸一方的局面。关于GridGain的功能介绍请参考《开源IMDG之Gri...

2015-11-14 19:40:00

阅读数 3043

评论数 0

分布式一致性协议Raft原理与实例

分布式一致性协议Raft原理与实例1.Raft协议1.1 Raft简介Raft是由Stanford提出的一种更易理解的一致性算法,意在取代目前广为使用的Paxos算法。目前,在各种主流语言中都有了一些开源实现,比如本文中将使用的基于JGroups的Raft协议实现。关于Raft的原理,强烈推荐动画...

2015-09-30 20:43:40

阅读数 18791

评论数 24

Apache Curator入门实战

Apache Curator入门实战Curator是Netflix公司开源的一个Zookeeper客户端,与Zookeeper提供的原生客户端相比,Curator的抽象层次更高,简化了Zookeeper客户端的开发量。1.Zookeeper安装部署Zookeeper的部署很简单,如果已经有Java...

2015-06-12 21:22:32

阅读数 35561

评论数 5

从NSM到Parquet:存储结构的衍化

为了优化MapReduce及MR之前的各种工具的性能,在Hadoop内建的数据存储格式外,又涌现了一批各种各样的存储方式。如优化Hive性能的RCFile,以及配合Impala实现出Google Dremel功能(类似甚至是功能的超集)的Parquet等。今天就来一起学习一下HDFS中数据存储的进...

2014-12-06 19:21:45

阅读数 7257

评论数 0

几张图看懂列式存储

最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行...

2014-11-15 09:50:18

阅读数 47741

评论数 21

Hadoop入门(三):Sqoop和Hive的使用

1安装Hive 1.1下载解压 wget http://mirrors.cnnic.cn/apache/hive/stable/hive-0.10.0.tar.gz tar xzvfhive-0.10.0.tar.gz 1.2配置环境变量 exportHIVE_HOME=/usr/loc...

2013-06-10 10:35:55

阅读数 16646

评论数 0

Hadoop入门(二):ZooKeeper单机安装

ZooKeeper安装 1下载解压 cd /usr/local/src wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz tar zxvf zookeeper-...

2013-06-10 07:50:31

阅读数 2842

评论数 0

Hadoop入门(一):Hadoop伪分布安装

1安装Hadoop 首先解压下载来的hadoop 0.20包到/home/admin目录: tar xzfhadoop-0.20.2.tar.gz   配置Hadoop环境变量: exportHADOOP_INSTALL=/home/admin/hadoop-0.20.2 export...

2013-06-10 07:49:17

阅读数 2642

评论数 0

提示
确定要删除当前文章?
取消 删除