记一次Flink 写Mysql优化

最新推荐文章于 2024-08-01 04:27:59 发布

三年之期已到

最新推荐文章于 2024-08-01 04:27:59 发布

阅读量2.6k

点赞数 2

分类专栏： Flink 文章标签： flink mysql优化

本文链接：https://blog.csdn.net/xiaokan0230/article/details/115348328

版权

本文记录了一次使用Flink统计每5分钟活跃用户数并写入MySQL的优化过程。由于离线任务对MySQL的压力，导致实时任务出现超时问题。通过调整Flink SQL查询方式，避免了数据不准确和反压问题，显著降低了MySQL的写入压力，优化后运行稳定，未再出现连接超时故障。

摘要由CSDN通过智能技术生成

需求：

统计每5分钟内的活跃用户数，并写入mysql，mysql数据结构如下图所示。

时间	活跃用户数
10:00	2
10:05	4
10:10	3

废话不多说，直接上sql

select
	p_product,
	p_project,
	p_dt,
	SUBSTRING(FROM_UNIXTIME(UNIX_TIMESTAMP(p_ts)/ 300 * 300), 12, 5),
	count(distinct device_id)
from
	hive_catalog.t_kafka 
    /*+ OPTIONS   ('connector.properties.group.id'='my_group') */

group by
	p_product,
	p_project,
	p_dt,
	SUBSTRING(FROM_UNIXTIME(UNIX_TIMESTAMP(p_ts)/ 300 * 300), 12, 5)

其中p_ts 是事件时间。

写入mysql代码如下

.addSink(JdbcSink.sink("insert into active_num_5m(p_product,p_project,p_dt,event_time,num ) values(?,?,?,?,?) on duplicate key update num=values(num)",
                (JdbcStatementBuilder<Row>) (preparedStatement, row) -> {
                    preparedStatement.setString(1,getRowStr(row.getField(0)));
                    preparedStatement.setString(2,getRowStr(row.getField(1)));
                    preparedStatement.setString(3,getRowStr(row.getField(2)));
                    preparedStatement.setString(4,getRowStr(row.getField(3)));
                    preparedStatement.setInt(5, NumberUtils.createInteger(getRowStr(