python操作hdfs基础及简单案例 python3.5 pyhdfs hadoop2.6.4

python操作hdfs基础及简单案例 python3 pyhdfs hadoop2.6.4

官方文档
参考文档

在mac_pro上运行,自己搭建的hadoop集群,测试之前先要将集群/etc/hosts文件中域名映射ip关系,追加到mac /etc/hosts中

在mac_pro终端
vi /etc/hosts 
# 把以下内容追加到/etc/hosts

192.168.146.135 slave2
192.168.146.133 master
192.168.146.134 slave1

一 需求描述

公司构建大数据平台,数据由供应商(A)产生,A会每天把生成的前一天数据通过sftp推到公司指定的服务器。(供应商推数据到服务器的频率可能发生改变,比如,每半天把前12小时的数据推过来,这样一天就会推过来两次,或者每三分钟推过来前三分钟的数据)。datat团队需要把推过来的数据放到hadoop集群指定目录(每天的目录不一样)
需求细分(以一天推一次为例),需求总体为:将一个csv文件推到hadoop集群指定位置

  • 检查要推到hadoop集群的目录是否存在,存在则删除目录下所有的文件,不存在则创建目录
  • 把文件从本地推到hadoop集群(分为一天推一次,一天推两次及一天推多次)

二 pyhdfs介绍

2.1.连接hdfs,查看集群活跃的namenode

class pyhdfs.HdfsClient(hosts=u’localhost’, randomize_hosts=True, user_name=None, timeout=20, max_tries=2, retry_delay=5, requests_session=None, requests_kwargs=None)

ParametersDescribe
hosts (list or str)List of NameNode HTTP host:port strings, either as list or a comma separated string. Port defaults to 50070 if left unspecified.
randomize_hosts (bool)By default randomize host selection.
user_nameWhat Hadoop user to run as. Defaults to the HADOOP_USER_NAME environment variable if present, otherwise getpass.getuser().
timeout (float)How long to wait on a single NameNode in seconds before moving on. In some cases the standby NameNode can be unresponsive (e.g. loading fsimage or checkpointing), so we don’t want to block on it.
max_tries (int)How many times to retry a request for each NameNode. If NN1 is standby and NN2 is active, we might first contact NN1 and then observe a failover to NN1 when we contact NN2. In this situation we want to retry against NN1.
retry_delay (float)How long to wait in seconds before going through NameNodes again
requests_sessionA requests.Session object for advanced usage. If absent, this class will use the default requests behavior of making a new session per HTTP request. Caller is responsible for closing session.
requests_kwargsAdditional **kwargs to pass to request

参数解析

  • hosts:主机名 IP地址与port号之间需要用","隔开 如:hosts=“45.91.43.237,9000” 多个主机时可以传入list, 如:[“47.95.45.254,9000”,“47.95.45.235,9000”]
  • randomize_hosts:随机选择host进行连接,默认为True
  • user_name:连接的Hadoop平台的用户名
  • timeout:每个Namenode节点连接等待的秒数,默认20sec
  • max_tries:每个Namenode节点尝试连接的次数,默认2次
  • retry_delay:在尝试连接一个Namenode节点失败后,尝试连接下一个Namenode的时间间隔,默认5sec
  • requests_session:连接HDFS的HTTP request请求使用的session,默认为None

2.1.1.连接集群hdfs

pip install pyhdfs
from pyhdfs import HdfsClient
fs = HdfsClient(hosts='192.168.146.133, 50070', user_name='root')

2.1.2.查看集合活跃的namenode节点

print(fs.get_active_namenode())

输出结果
192.168.146.133:50070

2.1.3.查看集群根目录下有哪些文件

print(fs.listdir("/"))

输出结果
['data', 'tmp']

2.2 与hadoop集群交互hdfs文件夹及文件等信息

2.2.1.查看文件夹或文件是否存在

print(fs.exists("/data/data_coe/data_asset/product/db/tmp"))

输出结果:
True

2.2.2.创建文件夹,递归创建

print(fs.mkdirs("/data/data_coe/data_asset/product/db/tmp"))

输出结果:
True

2.2.3.上传本地文件到hdfs集群,从集群上下载文件

# overwrite=True,如果集群存在该文件,则直接覆盖,上传本地文件到集群和从集群下载文件到本地同样适用
fs.copy_from_local("python_hdfs.py", "/data/data_coe/data_asset/product/db/tmp/python_hdfs.py", overwrite=True)

fs.copy_to_local("/data/data_coe/data_asset/product/db/tmp/python_hdfs.py", "mcdsale.csv")

2.2.4.打开一个远程节点上的文件,返回一个HTTPResponse对象

response = fs.open("/data/data_coe/data_asset/product/db/tmp/python_hdfs.py")
print(response.data.decode())

2.2.5.append 追加文件到hdfs集群上已有文件的末尾

f = open("python_hdfs.py", "r")
# 追加字符串到文件末尾
fs.append("/data/data_coe/data_asset/product/db/tmp/mcdsale.csv", "\nhello world")
# 追加文件到文件末尾
fs.append("/data/data_coe/data_asset/product/db/tmp/mcdsale.csv", f.read().encode())
response = fs.open("/data/data_coe/data_asset/product/db/tmp/mcdsale.csv")
print(response.data.decode())

三 项目代码(比较简洁,后续会把整个project代码贴上)

# -*- coding: utf-8 -*-
# @Time    : 2018/10/20 下午1:49
# @Author  : Einstein Yang!!
# @Nickname : 穿着开裆裤上大学
# @FileName: mcdsale.csv
# @Software: PyCharm
# @PythonVersion: python3.5
# @Blog    :https://blog.csdn.net/weixin_41734687


import pyhdfs

def put_file_to_hdfs(csv_path):
    # 把文件推到指定的hdfs路径,如果路径存在删除该路径下所有文件,不存在则创建新目录
    fs = pyhdfs.HdfsClient(hosts="192.168.146.133, 50070", user_name="root")
    if fs.exists("/data/data_coe/data_asset/product/db/tmp/"):
        fs.delete("/data/data_coe/data_asset/product/db/tmp/", recursive=True)
    fs.mkdirs("/data/data_coe/data_asset/product/db/tmp/")
    fs.copy_from_local("{}".format(csv_path), "/data/data_coe/data_asset/product/db/tmp/mcdsale.csv", overwrite=True)


if __name__ == '__main__':
    put_file_to_hdfs("mcdsale.csv")
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页