使用client.walk()可以遍历hdfs的文件和目录,加上参数status=True可以同时返回这个文件的基本属性,指示这个文件是file还是directory,以及创建日期和修改日期
# -*- coding: utf-8 -*-
from hdfs import *
import os
from hdfs.ext.avro import AvroReader, AvroWriter
def main():
client=Client("http://192.168.56.101:50070")
path = "/home"
for root, dir, files in client.walk(path,status=True):
for file in files:
#full_path = os.path.join(root, file)
print(root)
print(file)
main()
--返回结果:
('