- 博客(7)
- 资源 (10)
- 收藏
- 关注
原创 hive任务卡在个别reduce的问题分析
最近微博有一个任务需要使用日曝光表做统计,发现这个任务很容易在stage1卡在reduce100%阶段不动,发邮件过来让帮找一下问题或者优化一下,和同事一起分析了一下原因,以下是分析过程:
2014-09-29 10:43:23 12300
原创 hive on spark部署
本文档相关软件的版本:spark-1.0.2、hadoop2.4.0和hive-0.13.0一、编译打包1、准备 将 hadoop gateway所使用的 hadoop 相关配置文件(*-site.xml)放到 spark 的代码里的 core/src/main/resources/下进行打包,否则可能会出现找不到rm以及 nn 等情况。 参考文档:《sp
2014-09-17 15:44:15 2463
原创 授权指定用户 从任何机器可访问 mysql服务器
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '密码' WITH GRANT OPTION;Query OK, 0 rows affected (0.00 sec)mysql> FLUSH PRIVILEGES;Query OK, 0 rows affected (0.00 se
2014-09-16 18:06:37 1537
转载 如何使用bloomfilter构建大型Java缓存系统
背景在如今的软件当中,缓存是解决很多问题的一个关键概念。你的应用可能会进行CPU密集型运算。你当然不想让这些运算一边又一边的重复执行,相反,你可以只执行一次, 把这个结果放在内存中作为缓存。有时系统的瓶颈在I/O操作上,比如你不想重复的查询数据库,你想把结果缓存起来,只在数据发生变化时才去数据查询来更新缓存。与上面的情况类似,有些场合下我们需要进行快速的查找来决定如何处理新来的请求
2014-09-16 12:17:10 1523
转载 Yarn在Shuffle阶段内存不足问题(error in shuffle in fetcher)
在Hadoop集群(CDH4.4, Mv2即Yarn框架)使用过程中,发现处理大数据集时程序报出如下错误:13/12/02 20:02:06 INFO mapreduce.Job: map 100% reduce 2%13/12/02 20:02:18 INFO mapreduce.Job: Task Id : attempt_1385983958793_0001_r_000000_1
2014-09-15 17:36:40 9102 1
转载 Mac 系统不同jdk版本切换方法
#确认jdk版本/usr/libexec/java_home#会得到下面信息(不同版本显示不一样)/Library/Java/JavaVirtualMachines/jdk1.7.0_60.jdk/Contents/Home#上面是1.7版本jdk,可以使用 -v 标识来获取其他已安装版本jdk,如:系统自带的1.6版本jdk/usr/libexec/jav
2014-09-02 12:38:21 3416
HTTP协议详解 学习servlet的必备资料
2009-10-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人