关于hdfs的代码

#谨记： C:\Windows\System32\drivers\etc做ip映射，否则连接不上
from hdfs.client import Client
#关于python操作hdfs的API可以查看官网:
#https://hdfscli.readthedocs.io/en/latest/api.html

#读取hdfs文件内容,将每行存入数组返回   返回hdfs文件里面的内容
def read_hdfs_file(client,filename):
    lines = []
    with client.read(filename, encoding='utf-8', delimiter='\n') as reader:
        for line in reader:
            #pass
            #print line.strip()
            lines.append(line.strip())
    return lines

#创建目录
def mkdirs(client,hdfs_path) :
    client.makedirs(hdfs_path)

#删除hdfs文件
def delete_hdfs_file(client,hdfs_path):
    client.delete(hdfs_path)

#上传文件到hdfs
def put_to_hdfs(client,local_path,hdfs_path):
    client.upload(hdfs_path, local_path,cleanup=True)

#从hdfs获取文件到本地   把hdfs的文件存储到本地某个文件夹下
def get_from_hdfs(client,hdfs_path,local_path):
    download(hdfs_path, local_path, overwrite=False)

#追加数据到hdfs文件    把一个内容追加到某一个文件里面
def append_to_hdfs(client,hdfs_path,data):
    client.write(hdfs_path, data,overwrite=False,append=True)
    
#覆盖数据写到hdfs文件
def write_to_hdfs(client,hdfs_path,data):
    client.write(hdfs_path, data,overwrite=True,append=False)

#移动或者修改文件  
def move_or_rename(client,hdfs_src_path, hdfs_dst_path):
    client.rename(hdfs_src_path, hdfs_dst_path)

#返回目录下的文件
def list(client,hdfs_path):
    return client.list(hdfs_path, status=False)
 
# root:连接的根目录
client = Client("http://192.168.189.129:50070",
                root="/",timeout=5*1000,session=False)
# put_to_hdfs(client,'a.csv','/user/root/a.csv')    # 上传文件
# append_to_hdfs(client,'/a.txt','111111111111111'+'\n')    # 追加内容到hdfs   追加完了再读取内容，看是否追加成功
# write_to_hdfs(client,'/a.txt','222222222222'+'\n')    # 写入hdfs并覆盖  写入之后再读取，看是否写入成功
# move_or_rename(client,'/b.txt', '/user/b.txt')     # 移动文件 也就是重命名
# mkdirs(client,'/input1/python1')    # 创建目录 可以创建级联目录
# print(list(client,'/input'))        # 列出根目录下面的目录和文件
# read_hdfs_file(client,'/b.txt')     # 读取hdfs文件 前提是此文件已经存储到hadoop中