- 博客(6)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Clouder CDH3B3开始后hadoop.job.ugi不再生效
Clouder CDH3B3开始后hadoop.job.ugi不再生效！困扰了我好几天的，终于找到了原因。以前公司用的原版hadoop-0.20.2,使用java设置 hadoop.job.ugi为正确的hadoop用户和组即可正常访问hdfs并可创建删除等。更新
2011-08-25 23:04:51
7487
1
转载 Hadoop收集作业执行状态信息
Hadoop收集作业执行状态信息 一个项目需要收集hadoop作业的执行状态的信息，我给出了以下的解决策略：1、从Hadoop提供的jobtracker.jsp获取需要的信息，这里遇到的一个问题是里面使用了application作用域JobT
2011-08-15 11:23:26
3881
1
转载 MR框架结构
转自 http://www.cppblog.com/javenstudio/articles/43073.htmlMapReduce框架结构Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它
2011-08-12 16:43:35
2455
1
转载 基于 hive 的日志数据统计实战
转自 http://blog.csdn.net/sutine/article/details/5653137基于 hive 的日志数据统计实战一、 hive 简介 hive 是一个基于 hadoop 的开源数据仓库工具，用于存
2011-08-09 16:29:03
1595
转载 MapReduce Map数 reduce数设置
JobConf.setNumMapTasks(n)是有意义的，结合block size会具体影响到map任务的个数，详见FileInputFormat.getSplits源码。假设没有设置mapred.min.split.size，缺省为1的情况下，针对每个文件会按照min (t
2011-08-09 15:10:50
35872
空空如也
javaeye.com 目前存在的bug
2010-03-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人