Hadoop JobHistory

转自:http://www.cnblogs.com/luogankun/p/4019303.html hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下,默认情况下是没有启动的,需要配置完后手工启动服务。 mapred-site.x...

2014-12-28 23:42:11

阅读数:2000

评论数:0

hadoop命令详解

一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_in...

2014-12-21 00:16:29

阅读数:389

评论数:0

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。 这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ...

2014-12-21 00:07:30

阅读数:776

评论数:0

eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

转自:http://my.oschina.net/mkh/blog/340112 1 eclipse中hadoop环境部署概览      eclipse中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署。一般hdfs环境部署比较简单,部署后就 可以...

2014-12-21 00:06:09

阅读数:4389

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭