Impala写Parquet文件

Impala Parquet相关代码

  https://github.com/cloudera/Impala/search?l=cpp&q=parquet&ref=cmdform

  

  没有可重用的库接口,需要在代码里去看,提取出来,直接使用源码。

  调用关系如下(自右向左调用):

  HdfsParquetTableWriter(HdfsTableWriter)<-HdfsTableSink<-DataSink<-PlanFragmentExecutor<-ImpalaServer::FragmentExecState

  <-ImpalaServer::ExecPlanFragment<-Impala-main 

  

  Coordinator::EcecRemoteFragment<-Coordinator::Exec

  

  hdfs-table-writer.h

  写文件步骤(具体详见文件说明):

  1. Init()

  2. InitNewFile()

  3. AppendRowBatch()

  4. Finalize()

  

  某些类,结构定义在源码中找不到,需要先编译源码,

  编译成功后在./

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Shinobi_Jack

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值