由于公司hadoop云梯组有磁盘和文件配额限制,一旦超过限制,作业就不能正常跑了。所以我就写了一个定时扫描集群文件的python脚本。无非也就是能过执行一些hadoop fs -ls, hadoop fs -du这类的命令,得到HDFS目录下文件/空间的情况。脚本在正常情况下执行没有问题,但是一放到crontab里就出错,没有任何输出。
经过定位,发现是stdout, stdin, stderr = popen2.popen3(du_cmd % (path,)) 这种代码没有输出,显然最容易想到的是hadoop的路径问题了,于是把hadoop命令加上绝对路径。但是还是不行。把这段代码单独抽出来测试,发现报了JAVA_HOME环境变量没有设置的错误。估计是crontab的脚本没有权限读取系统环境变量了。于是在代码里手动加上:
if not os.environ.has_key('JAVA_HOME'):
os.environ['JAVA_HOME'] = '/usr/java/jdk'
这之后终于不报这个错了,但是报了另外一个错:hadoop的权限不足。这个显然是因为hadoop的配置引起的,它没读取到hadoop的配置文件。于是再次加上hadoop配置文件路径的环境变量:
if not os.environ.has_key('HADOOP_CONF_DIR'):
os.environ['HADOOP_CONF_DIR'] = '/home/hadoop-config'
再次执行,这次终于可以了。
总而言之,正常情况下能够执行的脚本放到crontab里就挂掉,这里面最常见的问题,就是目录的问题。在crontab里,脚本要尽量使用绝对路径,不然很有可能就会报错。另外跟JAVA相关的,要设置JAVA_HOME环境变量。命令本身有额外配置的,还要把配置路径加到环境变量中去。