关闭

Hadoop JobHistory

转自:http://www.cnblogs.com/luogankun/p/4019303.html hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下,默认情况下是没有启动的,需要配置完后手工启动服务。 mapred-site.xml添加如下配置 property> name>mapreduce.jobhistory...
阅读(1776) 评论(0)

hadoop命令详解

一、用户命令 1、archive命令 (1).什么是Hadoop archives? Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文件名...
阅读(355) 评论(0)

hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。 这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper: 组件 节点 默认端口 配置 用途说明 H...
阅读(723) 评论(0)

eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

转自:http://my.oschina.net/mkh/blog/340112 1 eclipse中hadoop环境部署概览      eclipse中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署。一般hdfs环境部署比较简单,部署后就 可以在eclipse中像操作windows目录一样操作hdfs文件。而mapreduce任务执行环境的部署...
阅读(4027) 评论(0)
    个人资料
    • 访问:1175035次
    • 积分:9148
    • 等级:
    • 排名:第2130名
    • 原创:120篇
    • 转载:222篇
    • 译文:1篇
    • 评论:146条
    最新评论