![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop人门
文章平均质量分 76
devtao
这个作者很懒,什么都没留下…
展开
-
初识Hadoop
古代,人们用牛来拉重物。当一头牛拉不动一根圆木时,他们不曾想过培育 更大更壮的牛。同样,我们也不需要尝试开发超级计算机,而应试着结合使用更多计算机系统。 什么是Hadoop:Hadoop提供了一个可靠的共享存储和分析系统。包括两大核心功能,存储层:HDFS一个分布式文件系统,处理层:MapReduce一个分布式并行计算框架。Hadoop适合进行巨大的离线批处理数据,原创 2013-11-05 22:07:43 · 1764 阅读 · 0 评论 -
Ubuntu 安装 Hive
环境配置:Ubuntu 13.10Hadoop 1.2.1下载解压和转移:wget http://mirrors.hust.edu.cn/apache/hive/hive-0.12.0/hive-0.12.0.tar.gztar -xzvf hive-0.12.0.tar.gz mv hive-0.12.0 /opt/配置系统环境变量:sudo vim /e原创 2013-11-07 11:57:07 · 5228 阅读 · 3 评论 -
HDFS详解
HDFS简介HDFS的主要特点:1.处理超大文件2.流式的访问数据3.运行于廉价的商用机器集群上HDFS的局限性:1.不适合低延迟的数据访问2.无法高效存储大量小文件3.不支持多用户写入和任意修改文件。HDFS体系结构HDFS的相关概念1.块块的默认大小使64M2.NameNode和DataNodeNameNode使Master管理集群中的执原创 2013-11-12 22:27:40 · 1240 阅读 · 0 评论 -
Hive简介
什么使Hive?Hive是建立在Hadoop上的一套类似SQL的访问接口,可以通过Hive QL实现MapReduce Job。由于Hadoop是批处理系统,具有延迟性,所以Hive也会出现延迟现象。原创 2013-11-11 12:03:54 · 1901 阅读 · 0 评论 -
Ubuntu 搭建Hadoop源码阅读环境
JDK,Eclipse的安装请参考:Ubuntu 安装 搭建 J2EE 开发环境Ant安装: 下载ant:http://ant.apache.org/bindownload.cgi 解压Ant: tar -xvzf apache-ant-1.9.2-bin.tar.gz 移动重命名: mv apache-ant-1.9.2/ ~/opt/原创 2013-11-08 12:46:47 · 4736 阅读 · 2 评论 -
Hive SQL详解
数据定义DDL操作创建Hive Table:CREATE TABLE pokes (foo INT, bar STRING);建立名叫pokes的表,共有两列,第一列使int类型,第二列使string类型报错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTas原创 2013-11-11 13:21:59 · 1644 阅读 · 0 评论 -
Hive,Pig,HBase 区别与联系
看了几天的Hadoop生态系统,对Hive,Pig,HBase搞的有些糊涂,查阅时发现糊涂的不止我一个,如某个鸟问的帖子发表的疑问,when to use Hbase and when to use Hive?....请教了google,现总结如下:PigPig是一种数据流语言,用来快速轻松的处理巨大的数据。Pig包含两个部分:Pig Interface,Pig Latin。Pig原创 2013-11-05 22:10:10 · 17570 阅读 · 1 评论 -
Hadoop的管理
HDFS文件结构NameNode的文件结构${dfs.name.dir}/current/VERSION /edits /fsimage原创 2013-11-21 14:09:15 · 1314 阅读 · 0 评论 -
关于MapReduce
角色:执行MapReduce任务的角色:JobTracker,TaskTracker,一个Hadoop集群只有一个JobTracker,JobTracker负责管理和调度工作,TaskTracker负责执行工作。 数据流: MapReduce工作的简易图原创 2013-11-05 22:08:37 · 1731 阅读 · 0 评论 -
Ubuntu 安装HBase
下载:http://mirror.bit.edu.cn/apache/hbase/stable/官方指南:http://abloz.com/hbase/book.html解压:tar -xzvf hbase-0.96.0-hadoop1-bin.tar.gz进入$hbase/lib下查看相关的hadoop包,看是哪个版本的hadoop。此处只记录伪分布式Hbas原创 2013-12-07 11:24:51 · 6042 阅读 · 0 评论