hadoop fs -ls -R
该命令后面 + hdfs的路径,可以查看该hdfs路径下的所有文件和目录
hadoop fs -ls -R /user/hive/warehouse/big_recruitment.db/dim_area_full
一般我们只需要第八个结果,也就是文件的名称或者目录的文采,可以这样获取
hadoop fs -ls -R /user/hive/warehouse/big_recruitment.db/dim_area_full | awk {'print $8}'
hadoop fs -test -z
该命令后面 + hdfs文件的路径,可以查看该hdfs文件中是否存在数据,返回1代表有数据,返回0代表没数据,注意:返回值需要用$?才能获取
hadoop fs -test -z /user/hive/warehouse/big_recruitment.db/dim_area_full/provinces_template.txt
hadoop fs -test -e
该命令后面 + hdfs的路径,判断路径或者文件是否存在,存在返回0,不存在返回1
hadoop fs -test -e /origin_data/big_recruitment/data/2022-05-24