2014年05月_KingBoxing

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 crontab创建定时任务执行mapreduce，并将输出Load到数据库

今天在执行mapreduce时特别慢，原因是在reduce函数里将

2014-05-29 17:53:08 5320 1

转载 Linux下crontab命令的用法

任务调度的crond常驻命令 crond 是linux用来定期执行程序的命令。当安装完成操作系统之后，默认便会启动此任务调度命令。crond命令每分锺会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。而linux任务调度的工作主要分为以下两类： 1、系统执行的工作：系统周期性所要执行的工作，如备份系统数据、清理缓存 2、个人执行的工作：某个用户定期要做的工作，例如每隔10分

2014-05-29 16:52:46 744

转载 hive 中 Order by, Sort by ,Dristribute by,Cluster By 的作用和用法

转载地址：http://metooxi.iteye.com/blog/1447621 order by order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 set hive.mapred.mode=nonstrict; (default value / 默认

2014-05-27 16:12:58 571

原创 shell：将数据库的表内容拉到文件中

现在做一个功能，需要将mysql数据库中的数据

2014-05-26 17:34:40 1047

转载关于 hadoop reduce 阶段遍历 Iterable 的 2 个“坑”

原文地址：http://my.oschina.net/leejun2005/blog/131744 之前有童鞋问到了这样一个问题：为什么我在 reduce 阶段遍历了一次 Iterable 之后，再次遍历的时候，数据都没了呢？可能有童鞋想当然的回答：Iterable 只能单向遍历一次，就这样简单的原因。。。事实果真如此吗？还是用代码说话： 01 pack

2014-05-21 14:42:00 1370