自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

快乐程序员的专栏

专注于hadoop运维,大数据处理,即席查询,hadoop生态圈组件研究

原创 hive任务卡在个别reduce的问题分析

最近微博有一个任务需要使用日曝光表做统计,发现这个任务很容易在stage1卡在reduce100%阶段不动,发邮件过来让帮找一下问题或者优化一下,和同事一起分析了一下原因,以下是分析过程:

2014-09-29 10:43:23

阅读数 6929

评论数 0

原创 广告作业单行1000万数据量处理超时分析

以下是分析ads的单⾏行数据量超过1000万时,map任务出现600s time out的问题:

2014-09-22 22:41:27

阅读数 1131

评论数 1

原创 hive on spark部署

本文档相关软件的版本:spark-1.0.2、hadoop2.4.0和hive-0.13.0 一、编译打包 1、准备        将 hadoop gateway所使用的 hadoop 相关配置文件(*-site.xml)放到 spark 的代码里的 core/src/main/r...

2014-09-17 15:44:15

阅读数 2051

评论数 0

原创 授权指定用户 从任何机器可访问 mysql服务器

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '密码' WITH GRANT OPTION; Query OK, 0 rows affected ...

2014-09-16 18:06:37

阅读数 813

评论数 0

转载 如何使用bloomfilter构建大型Java缓存系统

背景 在如今的软件当中,缓存是解决很多问题的一个关键概念。你的应用可能会进行CPU密集型运算。你当然不想让这些运算一边又一边的重复执行,相反,你可以只执行一次, 把这个结果放在内存中作为缓存。有时系统的瓶颈在I/O操作上,比如你不想重复的查询数据库,你想把结果缓存起来,只在数据发生变化时才去...

2014-09-16 12:17:10

阅读数 1279

评论数 0

转载 Yarn在Shuffle阶段内存不足问题(error in shuffle in fetcher)

在Hadoop集群(CDH4.4, Mv2即Yarn框架)使用过程中,发现处理大数据集时程序报出如下错误: 13/12/02 20:02:06 INFO mapreduce.Job: map 100% reduce 2% 13/12/02 20:02:18 INFO mapreduce.J...

2014-09-15 17:36:40

阅读数 7202

评论数 1

转载 Mac 系统不同jdk版本切换方法

#确认jdk版本 /usr/libexec/java_home #会得到下面信息(不同版本显示不一样) /Library/Java/JavaVirtualMachines/jdk1.7.0_60.jdk/Contents/Home #上面是1.7版本jdk,可以使用 -v ...

2014-09-02 12:38:21

阅读数 1070

评论数 0

提示
确定要删除当前文章?
取消 删除