解决SHELL脚本使用hadoop fs -get 命令 报错 command not found

SHELL脚本使用hadoop 命令 报错 command not found 问题解决

 

项目背景

项目中需要定时从HADOOP HDFS 中下载定时更新的文件，为了方便操作，写了SHELL脚本定时下载，脚本中使用的核心命令就是 hadoop fs -get /xxxx/xxxx/xxx.log

手动切换到 hadoop用户 ，独立执行命令时，完全正常，可放到SHELL脚本中就一直报错，反复地报hadoop commad not found，非常地奇怪，我用脚本也是使用的hadoop 用户去执行的，这个脚本用户组也是hadoop:hadoopgroup，权限也是777，在网上找到两种说法，

（1）执行环境的问题，需要在脚本中声明一下hadoop 的运行环境，export PATH = xxxx :(此处省略一大串路径)

（2）SHELL编程中，空格是跟平时我们遇到的空格的意义不一样，如果直接把命令 hadoop fs -get /xxxx/xxx 放到脚本当中，会把hadoop， fs， -get /xxxx/ 归类为三个命令，所以会报错，解决办法就是把这条命令用反括号围起来，就是键盘ESC下面的这个符号：

 ` hadoop fs -get /xxxx/xxxxx/`

 

 

第二种方法是没有起作用的，还是缺运行环境，第一种试了几次不是这里符号报错，就是那里有问题，所以两种方式都放弃了

 

 

最后，不就是HADOOP运行环境嘛，直接 echo $HADOOP_HOME

把出来的路径加上 /bin 直接执行即可，大概意思如下：

$HADOOP_HOME/bin/hadoop fs -get /xxxxx/xxxx

然后亲测可用了