使用模块
-
Python2.7
-
subprocess
-
io.BytesIO
-
parquet-python 1.3.1
其中parquet
包不是python内置,需要用pip
安装
整体流程
-
使用subprocess
读hdfs中的parquet文件
-
将字节流写入io.BytesIO
对象中(要做这一步是因为parquet
包目前只支持文件对象解析)
-
使用parquet
包的接口解析上一步得到的io对象
代码
import parquet
import subprocess
from io import BytesIO
url='文件路径'
popen_args = ['hdfs'