解决SHELL脚本使用hadoop fs -get 命令 报错 command not found

SHELL脚本使用hadoop 命令 报错 command not found 问题解决

 

项目背景

项目中需要定时从HADOOP HDFS 中下载定时更新的文件,为了方便操作,写了SHELL脚本定时下载,脚本中使用的核心命令就是 hadoop fs -get /xxxx/xxxx/xxx.log

手动切换到 hadoop用户 ,独立执行命令时,完全正常,可放到SHELL脚本中就一直报错,反复地报hadoop commad not found,非常地奇怪,我用脚本也是使用的hadoop 用户去执行的,这个脚本用户组也是hadoop:hadoopgroup,权限也是777,在网上找到两种说法,

(1)执行环境的问题,需要在脚本中声明一下hadoop 的运行环境,export PATH = xxxx :(此处省略一大串路径)

(2)SHELL编程中,空格是跟平时我们遇到的空格的意义不一样,如果直接把命令 hadoop fs -get /xxxx/xxx 放到脚本当中,会把hadoop, fs, -get /xxxx/ 归类为三个命令,所以会报错,解决办法就是把这条命令用反括号围起来,就是键盘ESC下面的这个符号:

 ` hadoop fs -get /xxxx/xxxxx/`

 

 

第二种方法是没有起作用的,还是缺运行环境,第一种试了几次不是这里符号报错,就是那里有问题,所以两种方式都放弃了

 

 

最后,不就是HADOOP运行环境嘛,直接 echo $HADOOP_HOME

把出来的路径加上 /bin 直接执行即可,大概意思如下:

$HADOOP_HOME/bin/hadoop fs -get /xxxxx/xxxx

然后亲测可用了

 

发布了86 篇原创文章 · 获赞 17 · 访问量 8万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览