flink 1.11 写入hive性能低下问题

本文探讨了在Flink 1.11版本中,使用Hive Streaming Sink时遇到的性能问题,即每写入一条数据就触发文件大小判断,导致频繁访问NameNode从而影响性能。为解决这个问题,提出了自定义HiveBulkWriterFactory的方案,通过修改HiveTableSink的consumeDataStream方法,优化文件滚动策略,提升写入效率。
摘要由CSDN通过智能技术生成

hive streming sink 投入生产,发现写入性能底下,排查过后,发现是hive在每写入一条数据,都会判断文件大小来决定文件是否需要滚动,判断文件大小使用的hdfs的api,需要访问namenode,这就是写入性能底下的根源。截止到flink 1.11.2这个问题任然没有解决。

这个问题解决,需要自己实现HiveBulkWriterFactory,代码如下:

public class HiveBulkWriterFactory implements HadoopPathBasedBulkWriter.Factory<RowData> {

	private static final long serialVersionUID = 1L;

	private final HiveWriterFactory factory;

	public HiveBulkWriterFactory(HiveWriterFactory factory) {
		this.factory = factory;
	}

	@Override
	public HadoopPathBasedBulkWriter<RowData> create(Path targetPath, Path inProgressPath) throws IOException {
		FileSinkOperator.RecordWriter recordWriter = factory.createRecordWriter(inProgressPath);
		Function<RowData, Writable> rowConverter = factory.createRowDataConverter();
		FileSystem fs = FileSystem.get(inProgressPath.toUri(), factory.getJobConf());
		return new HadoopPathBasedBu
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值