SHELL脚本使用hadoop 命令 报错 command not found 问题解决
项目背景
项目中需要定时从HADOOP HDFS 中下载定时更新的文件,为了方便操作,写了SHELL脚本定时下载,脚本中使用的核心命令就是 hadoop fs -get /xxxx/xxxx/xxx.log
手动切换到 hadoop用户 ,独立执行命令时,完全正常,可放到SHELL脚本中就一直报错,反复地报hadoop commad not found,非常地奇怪,我用脚本也是使用的hadoop 用户去执行的,这个脚本用户组也是hadoop:hadoopgroup,权限也是777,在网上找到两种说法,
(1)执行环境的问题,需要在脚本中声明一下hadoop 的运行环境,export PATH = xxxx :(此处省略一大串路径)
(2)SHELL编程中,空格是跟平时我们遇到的空格的意义不一样,如果直接把命令 hadoop fs -get /xxxx/xxx 放到脚本当中,会把hadoop, fs, -get /xxxx/ 归类为三个命令,所以会报错,解决办法就是把这条命令用反括号围起来,就是键盘ESC下面的这个符号:
` hadoop fs -get /xxxx/xxxxx/`
第二种方法是没有起作用的,还是缺运行环境,第一种试了几次不是这里符号报错,就是那里有问题,所以两种方式都放弃了
最后,不就是HADOOP运行环境嘛,直接 echo $HADOOP_HOME
把出来的路径加上 /bin 直接执行即可,大概意思如下:
$HADOOP_HOME/bin/hadoop fs -get /xxxxx/xxxx
然后亲测可用了