用Python读hdfs集群parquet格式文件

使用模块

• Python2.7

• subprocess

• io.BytesIO

• parquet-python 1.3.1

其中parquet包不是python内置，需要用pip 安装

整体流程

1. 使用subprocess读hdfs中的parquet文件

2. 将字节流写入io.BytesIO对象中（要做这一步是因为parquet包目前只支持文件对象解析）

3. 使用parquet包的接口解析上一步得到的io对象

代码

import parquet
import subprocess
from io import BytesIO

url='文件路径'
popen_args = ['hdfs'