python 3.7 三:操作hdfs

本文介绍了如何使用Python 3.7进行HDFS操作,通过hdfs_util.py模块和test.py示例代码,展示了配置及具体用法。参考链接提供详细配置步骤。
摘要由CSDN通过智能技术生成
pip3 install hdfs

hdfs_util.py

class HdfsUtils:

    def __init__(self, config):
        name_node = config.get_prop("hdfs", "name_node")
        user = config.get_prop("hdfs", "user")
        self.__client = InsecureClient(name_node, user)

    def makedirs(self, path, permissions):
        self.__client.makedirs(path, permissions)

    def rename(self, source_path_name, dest_path_name):
        self.__client.rename(source_path_name, dest_path_name)

    def delete(self, path_name, recursive=False):
        self.__client.delete(path_name, recursive)

    def upload(self, hdfs_path, local_path):
        self.__client.upload(hdfs_path, local_path)

    def download(self, hdfs_path, local_path):
        self.__client.download(hdfs_path, local_path)

test.py

def save_hdfs():
    config = ConfigUtil()
    config.set_pr
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值