Python 创建HDFS文件夹

最新推荐文章于 2024-06-25 15:12:51 发布

AI算法攻城狮

最新推荐文章于 2024-06-25 15:12:51 发布

阅读量2.3k

点赞数 1

分类专栏： # Python菜鸟教程

本文链接：https://blog.csdn.net/jxq0816/article/details/81343780

版权

Python菜鸟教程专栏收录该内容

69 篇文章 232 订阅 ¥99.90 ¥299.90

订阅专栏

本文介绍如何利用Python的hdfs库来创建Hadoop分布式文件系统（HDFS）上的文件夹，通过示例代码详细阐述操作步骤。

摘要由CSDN通过智能技术生成

直接上代码

#! /usr/bin/python2.7
# -*- coding: utf8 -*-
import os
import sys

reload(sys)
sys.setdefaultencoding("utf-8")
sys.path.append("../")
import datetime
from utils import confUtils


def hadoop_make_dir(hadoop_path, auth, src_path):
    cmd = '%s dfs %s -mkdir -p %s' % (hadoop_path, auth, src_path)
    print(cmd)
    return os.system(cmd)


class HDFSTask(object):
    cf = confUtils.getConfig("../conf/hadoop.conf")

    def __init__(self):
        self.hadoop_path = confUtils.getFilePath(self.cf, "SIM_USERS", "HADOOP_BIN_DIR")
        self.auth = confUtils.getFilePath(self.cf, "SIM_USERS", "AUTH")
        self.out_path = confUtils.getFilePath(self.cf, "SIM_USERS", &

了解本专栏