![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
cimon_an
宁静致远
展开
-
hadoop中带后缀的多路输出part文件
package com.cmcm.hadoop.mapred.lib;import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat;import org.apache.hadoop.io.Text;public class SuffixMultipleTextOutputFormat extends MultipleTextOu原创 2014-10-03 15:44:09 · 2637 阅读 · 0 评论 -
FirstKeyIntPartitioner---hadoop中支持快速查询的自定义Partitioner
【导读】 一般做数据分析往往需要对map/reduce产出的结果进行查询,一个困惑的问题就是被查的少量数据落在哪个part文件中呢?启动一个map/reduce任务来查,性价比太低了。为此,本文介绍一种支持快速查询的自定义Partitioner---FirstKeyIntPartitioner。【正文】1. 生成并指定map输出的key。[1] 约定:map输出的原创 2014-11-25 21:44:40 · 600 阅读 · 0 评论 -
hadoop yarn的内存和cpu参数配置
【导读】还在整理中原创 2015-01-06 23:54:45 · 1364 阅读 · 0 评论 -
hadoop用户权限管理
【导读】 hadoop要给不同的用户赋予不同权限,保障hdfs的数据安全。【正文】1. 增加用户useradd -g 2. 修改目录的拥有者sudo -u hdfs hdfs dfs -mkdir /user/app_user/ 以hdfs账号创建一个目录sudo -u hdfs hdfs dfs -chown -R : /user/app原创 2015-01-06 23:33:52 · 3252 阅读 · 0 评论