CDH6.3.2中使用HdfsFindTool

咖啡加冰不加糖~

已于 2022-06-12 10:22:38 修改

阅读量443

点赞数

分类专栏： HDFS 文章标签： hadoop hdfs solr

于 2022-06-02 11:32:23 首次发布

本文链接：https://blog.csdn.net/qq_40367999/article/details/125083473

版权

HDFS 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

一、问题

CDH6中移除了org.apache.solr.hadoop.HdfsFindTool工具类，在使用Hadoop自带的命令查询HDFS文件或目录就很鸡肋，不支持按照type和time查询。Hadoop自带的find命令案例如下：

hadoop fs -find / -name test -print

二、解决方案

1、如果拥有CDH license，可以从下面网址下载

a、wget --user=<your_paywall_username> --ask-password 
https://archive.cloudera.com/p/cdh5/cdh/5/search-1.0.0-cdh5.13.3.tar.gz
b、tar -xvf search-1.0.0-cdh5.13.3.tar.gz

2、如果没有CDH license，可以从其他CDH5版本中找到类似Jar包来使用

search-mr-1.0.0-cdh5.13.3.jar

3、Run HDFSFindtool

hadoop jar search-mr-1.0.0-cdh5.13.3.jar org.apache.solr.hadoop.HdfsFindTool -find '/tmp/hive/hive/' -type d -name '*' -mtime +7

三、案例

1、执行命令

hadoop jar search-mr-1.0.0-cdh5.13.3.jar org.apache.solr.hadoop.HdfsFindTool -find '/tmp/hive/hive/' -type d -name '*' -mtime +7

2、输出结果

[root@demo-namenode01 jar]# hadoop jar search-mr-1.0.0-cdh5.13.3.jar org.apache.solr.hadoop.HdfsFindTool -find '/tmp/hive/hive/' -type d -name '*' -mtime +7
WARNING: Use "yarn jar" to launch YARN applications.
hdfs://nameservice1/tmp/hive/hive/0a1824d0-9303-482c-83db-8b728486316c
hdfs://nameservice1/tmp/hive/hive/0a1824d0-9303-482c-83db-8b728486316c/_tmp_space.db
hdfs://nameservice1/tmp/hive/hive/0e5998f0-3b45-4860-b89b-6eee8d22ae81
hdfs://nameservice1/tmp/hive/hive/0e5998f0-3b45-4860-b89b-6eee8d22ae81/_tmp_space.db
hdfs://nameservice1/tmp/hive/hive/1d17bdbb-7cf4-4592-af7c-51d3d24d4528
hdfs://nameservice1/tmp/hive/hive/1d17bdbb-7cf4-4592-af7c-51d3d24d4528/_tmp_space.db
hdfs://nameservice1/tmp/hive/hive/383573c8-c005-477b-a2de-96852b91d71c
hdfs://nameservice1/tmp/hive/hive/383573c8-c005-477b-a2de-96852b91d71c/_tmp_space.db
hdfs://nameservice1/tmp/hive/hive/5b5a2fe0-ce48-4ebf-8b24-345d153b23c9
hdfs://nameservice1/tmp/hive/hive/5b5a2fe0-ce48-4ebf-8b24-345d153b23c9/_tmp_space.db
hdfs://nameservice1/tmp/hive/hive/7b31dd1a-517a-404b-8a92-90ee7a5e8fae
hdfs://nameservice1/tmp/hive/hive/7b31dd1a-517a-404b-8a92-90ee7a5e8fae/_tmp_space.db
hdfs://nameservice1/tmp/hive/hive/c9ae8150-2bfa-4662-8279-422798abb2dd
hdfs://nameservice1/tmp/hive/hive/c9ae8150-2bfa-4662-8279-422798abb2dd/_tmp_space.db
hdfs://nameservice1/tmp/hive/hive/e3affeab-64ba-47bb-9b31-84a3138c8c3c
hdfs://nameservice1/tmp/hive/hive/e3affeab-64ba-47bb-9b31-84a3138c8c3c/_tmp_space.db
hdfs://nameservice1/tmp/hive/hive/ec057b8c-5a49-4e91-a3a0-f7c3864fbc4c
hdfs://nameservice1/tmp/hive/hive/ec057b8c-5a49-4e91-a3a0-f7c3864fbc4c/_tmp_space.db