【shell】如何使用shell从HDFS上下载文件传入并调用Python脚本

        之前小白已经对shell调用Python脚本有过一些介绍(https://blog.csdn.net/Jarry_cm/article/details/95074336),可参考该博文。本篇主要介绍shell脚本如何从HDFS上获取文件，和文件的引用。

目录

1.从HDFS获取文件到当前路径

2.获取当前路径命令

3.参数传递

4.python中获取参数

5.删除产生的临时文件

---

1.从HDFS获取文件到当前路径

这个步骤的前置步骤就是首先在HDFS上已经上传了文件，然后获取文件到当前路径。

hdfs dfs -get hdfs:///hdfs-upload-dir/dict.txt ./

2.获取当前路径命令

file_path=`cd $(dirname $0); pwd -P`

3.参数传递

在这里只需要把文件名写下来就可以，以下面的形式，就拼出了从HDFS上GET到的当前位置，python后第一个参数是调用的python地址，第二个参数是传递到python中的地址，如果还需要传递参数，依次写在后面即可，两个参数之间空格隔开。

dict_address="dict.txt"
python_name="IM_jump_version2.py"
python3 $file_path/$python_name $file_path/$dict_address 

4.python中获取参数

注意是从1开始而不是0

import sys
#获取参数
dict_address = sys.argv[1]

5.删除产生的临时文件

rm -f $file_path/$dict_address

最好是在临时文件使用完后，删除，否则每次会产生很多临时文件，浪费资源空间。