Hadoop
文章平均质量分 82
cdai
这个作者很懒,什么都没留下…
展开
-
Hadoop入门(一):Hadoop伪分布安装
1安装Hadoop首先解压下载来的hadoop 0.20包到/home/admin目录:tar xzfhadoop-0.20.2.tar.gz 配置Hadoop环境变量:exportHADOOP_INSTALL=/home/admin/hadoop-0.20.2exportPATH=$PATH:$HADOOP_INSTALL/bin 测试下是否安装成功:hado原创 2013-06-10 07:49:17 · 2911 阅读 · 0 评论 -
Hadoop入门(三):Sqoop和Hive的使用
1安装Hive1.1下载解压wget http://mirrors.cnnic.cn/apache/hive/stable/hive-0.10.0.tar.gztar xzvfhive-0.10.0.tar.gz1.2配置环境变量exportHIVE_HOME=/usr/local/src/hive-0.10.0export PATH=$HIVE_HOME/bin:$PAT原创 2013-06-10 10:35:55 · 17650 阅读 · 0 评论 -
Hadoop入门(二):ZooKeeper单机安装
ZooKeeper安装1下载解压cd /usr/local/srcwget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gztar zxvf zookeeper-3.4.5.tar.gz2配置cd zookeeper-3.4.5cp conf/原创 2013-06-10 07:50:31 · 3263 阅读 · 0 评论 -
几张图看懂列式存储
最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表(翻译不好,直接抄原原创 2014-11-15 09:50:18 · 65243 阅读 · 36 评论 -
从NSM到Parquet:存储结构的衍化
为了优化MapReduce及MR之前的各种工具的性能,在Hadoop内建的数据存储格式外,又涌现了一批各种各样的存储方式。如优化Hive性能的RCFile,以及配合Impala实现出Google Dremel功能(类似甚至是功能的超集)的Parquet等。今天就来一起学习一下HDFS中数据存储的进化历程。数据摆放结构数据摆放结构(data placement structure),顾名思义,就是数原创 2014-12-06 19:21:45 · 8141 阅读 · 0 评论 -
Apache Curator入门实战
Apache Curator入门实战Curator是Netflix公司开源的一个Zookeeper客户端,与Zookeeper提供的原生客户端相比,Curator的抽象层次更高,简化了Zookeeper客户端的开发量。1.Zookeeper安装部署Zookeeper的部署很简单,如果已经有Java运行环境的话,下载tarball解压后即可运行。[root@vm Temp]$ wget http://原创 2015-06-12 21:22:32 · 38816 阅读 · 5 评论 -
分布式一致性协议Raft原理与实例
分布式一致性协议Raft原理与实例1.Raft协议1.1 Raft简介Raft是由Stanford提出的一种更易理解的一致性算法,意在取代目前广为使用的Paxos算法。目前,在各种主流语言中都有了一些开源实现,比如本文中将使用的基于JGroups的Raft协议实现。关于Raft的原理,强烈推荐动画版Raft讲解。1.2 Raft原理在Raft中,每个结点会处于下面三种状态中的一种:follower原创 2015-09-30 20:43:40 · 20565 阅读 · 24 评论 -
Hadoop加速器GridGain
GridGain的Hadoop加速器像GridGain等内存网格产品(IMDG)不仅可以作为简单的缓存,加速Hadoop中MapReduce计算也是IMDG的一个亮点。这样内存计算领域又多了一种思路和选择,而不只是Spark独霸一方的局面。关于GridGain的功能介绍请参考《开源IMDG之GridGain》。1.安装Hadoop 2.7.1很早之前写过一篇《Hadoop入门(一):Hadoop伪分原创 2015-11-14 19:40:00 · 3645 阅读 · 0 评论