hadoop一些常用命令

hadoop fs -ls -R

该命令后面 + hdfs的路径，可以查看该hdfs路径下的所有文件和目录

hadoop fs -ls -R /user/hive/warehouse/big_recruitment.db/dim_area_full

 一般我们只需要第八个结果，也就是文件的名称或者目录的文采，可以这样获取

hadoop fs -ls -R /user/hive/warehouse/big_recruitment.db/dim_area_full | awk {'print $8}'

 hadoop fs -test -z

该命令后面 + hdfs文件的路径，可以查看该hdfs文件中是否存在数据，返回1代表有数据，返回0代表没数据，注意：返回值需要用$?才能获取

hadoop fs -test -z /user/hive/warehouse/big_recruitment.db/dim_area_full/provinces_template.txt

hadoop fs -test -e

该命令后面 + hdfs的路径，判断路径或者文件是否存在，存在返回0，不存在返回1

hadoop fs -test -e /origin_data/big_recruitment/data/2022-05-24