- 博客(5)
- 资源 (20)
- 收藏
- 关注
原创 crontab创建定时任务执行mapreduce,并将输出Load到数据库
今天在执行mapreduce时特别慢,原因是在reduce函数里将
2014-05-29 17:53:08 5320 1
转载 Linux下crontab命令的用法
任务调度的crond常驻命令crond 是linux用来定期执行程序的命令。当安装完成操作系统之后,默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作,如果有要执行的工作便会自动执行该工作。而linux任务调度的工作主要分为以下两类:1、系统执行的工作:系统周期性所要执行的工作,如备份系统数据、清理缓存2、个人执行的工作:某个用户定期要做的工作,例如每隔10分
2014-05-29 16:52:46 744
转载 hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法
转载地址:http://metooxi.iteye.com/blog/1447621order byorder by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认
2014-05-27 16:12:58 571
转载 关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”
原文地址:http://my.oschina.net/leejun2005/blog/131744之前有童鞋问到了这样一个问题:为什么我在 reduce 阶段遍历了一次 Iterable 之后,再次遍历的时候,数据都没了呢?可能有童鞋想当然的回答:Iterable 只能单向遍历一次,就这样简单的原因。。。事实果真如此吗?还是用代码说话: 01pack
2014-05-21 14:42:00 1370
Myeclipse好用的几款插件
2013-11-29
artDialog页面弹出框
2012-08-15
Google Maps Javascript API V3开发包
2012-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人