Flink批量写入HBase效率问题

最新推荐文章于 2024-06-19 21:29:08 发布

Liu_RS

最新推荐文章于 2024-06-19 21:29:08 发布

阅读量4.3k

点赞数 1

文章标签： flink hbase

本文链接：https://blog.csdn.net/Liu_RS/article/details/104634731

版权

Flink批量写入HBase效率问题

标题 HBase批量写入单次提交数据量大小问题

生产环境写入HBase体验：
如果写入HBase效率瓶颈在连接HBase费时上，keyBy(字段).countWindow(50000).apply(new …)比任何复杂的自定义时间窗口效率都高，太有感触了T T。

DataStream<List<Put>> sourceList = dataStream.timeWindowAll(Time.seconds(2)).apply(new OrderToHBaseFunctionOutPutFormat()).name("format");
        sourceList.writeUsingOutputFormat(new BulkPutHBaseOutputFormat<Put>() {
            @Override
            public String getTableName() {
                return "ORDER_DOC_SN_TEST";
            }
            @Override
            public String getColumnFamily() {
                return "CFD";
            }
            @Override
            public List<Put> writeList(List<Put> list) {
                return list;
            }
        }).name("write");

如果消费的数据量比较大的时候，写入HBase可能会出现阻塞，如&#x