自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

快乐程序员的专栏

专注于hadoop运维,大数据处理,即席查询,hadoop生态圈组件研究

转载 下一代的APACHE HADOOP MAPREDUCE : YARN

本文翻译自:http://developer.yahoo.com/blogs/hadoop/posts/2011/02/mapreduce-nextgen/ 原文地址:http://www.rigongyizu.com/the-next-generation-of-apache-hadoop...

2014-02-18 14:24:57

阅读数 1212

评论数 0

转载 HADOOP 2.0 YARN应用程序的执行流程和开发

在yarn的官方文档上有一篇很经典的Hadoop MapReduce Next Generation – Writing YARN Applications,讲述了如果编写基于hadoop 2.0 yarn的应用程序(中文翻译版)。本文主要讲述yarn程序的执行流程和如何进行开发的一点想法。 ...

2014-02-18 12:50:22

阅读数 3345

评论数 0

转载 下一代的HADOOP MAPREDUCE – 如何编写YARN应用程序

本文翻译自hadoop官方文档:Hadoop MapReduce Next Generation – Writing YARN Applications 原文地址:http://www.rigongyizu.com/hadoop-mapreduce-next-generation-wri...

2014-02-18 10:11:37

阅读数 1339

评论数 0

转载 SVN中tag branch trunk用法详解

本节主要讲解一下SVN中tag branch trunk的用法,在SVN中Branch/tag在一个功能选项中,在使用中也往往产生混淆。这里就向大家简单介绍一下,欢迎大家能和我一起学习SVN中tag branch trunk的用法。      在实现上,branch和tag,对于svn都是使用c...

2014-02-17 18:17:59

阅读数 1044

评论数 0

转载 Hive小文件合并调研

背景 Hive query将运算好的数据写回hdfs(比如insert into语句),有时候会产生大量的小文件,如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的map task,耗费大量集群资源,而且小文件过多会对namenode造成很大压力。所以H...

2014-02-13 15:00:50

阅读数 1019

评论数 0

原创 hql中小文件合并操作

老大昨天发给我一个hql: create table zx_car_weibo_41_tmp as select * from ods_tblog_content where dt = '20130101' and ((content like '%4C...

2014-02-13 14:57:39

阅读数 2775

评论数 0

转载 深入理解SetUID

最近在看hadoop关于map/reduce任务运行部分的代码,看到任务启动时的权限涉及到linux的setuid,以下是关于介绍setuid的一篇很好的文章,贴出来以备后用。 ============================================================...

2014-02-12 16:20:02

阅读数 972

评论数 0

提示
确定要删除当前文章?
取消 删除