python使用crontab执行hadoop相关任务

由于公司hadoop云梯组有磁盘和文件配额限制，一旦超过限制，作业就不能正常跑了。所以我就写了一个定时扫描集群文件的python脚本。无非也就是能过执行一些hadoop fs -ls, hadoop fs -du这类的命令，得到HDFS目录下文件/空间的情况。脚本在正常情况下执行没有问题，但是一放到crontab里就出错，没有任何输出。

经过定位，发现是stdout, stdin, stderr = popen2.popen3(du_cmd % (path,)) 这种代码没有输出，显然最容易想到的是hadoop的路径问题了，于是把hadoop命令加上绝对路径。但是还是不行。把这段代码单独抽出来测试，发现报了JAVA_HOME环境变量没有设置的错误。估计是crontab的脚本没有权限读取系统环境变量了。于是在代码里手动加上：

if not os.environ.has_key('JAVA_HOME'):
        os.environ['JAVA_HOME'] = '/usr/java/jdk'

这之后终于不报这个错了，但是报了另外一个错：hadoop的权限不足。这个显然是因为hadoop的配置引起的，它没读取到hadoop的配置文件。于是再次加上hadoop配置文件路径的环境变量：
if not os.environ.has_key('HADOOP_CONF_DIR'):
        os.environ['HADOOP_CONF_DIR'] = '/home/hadoop-config'

再次执行，这次终于可以了。

总而言之，正常情况下能够执行的脚本放到crontab里就挂掉，这里面最常见的问题，就是目录的问题。在crontab里，脚本要尽量使用绝对路径，不然很有可能就会报错。另外跟JAVA相关的，要设置JAVA_HOME环境变量。命令本身有额外配置的，还要把配置路径加到环境变量中去。