Flink 实践代码-流数据入库

最新推荐文章于 2024-04-21 18:20:51 发布

Will Cui

最新推荐文章于 2024-04-21 18:20:51 发布

阅读量903

点赞数 25

分类专栏： Flink 文章标签： flink 大数据

本文链接：https://blog.csdn.net/danevc/article/details/136877934

版权

这篇博客详细介绍了如何使用 Apache Flink 处理流数据并将其存入数据库。首先，构建 Flink 运行环境，接着接入数据流，然后通过 JdbcSink 将数据写入数据库。博主分享了核心代码及其逐行解释，讨论了数据表结构设计与数据流动态匹配的问题，并提出了如果将数据写入 Kafka 的思路。

摘要由CSDN通过智能技术生成

1.代码与含义解释

1.1 思路

Flink 获取数据流后，需要做数据过滤那么首先就要有一下几个步骤：

构建运行环境
接入数据流
链接数据库，写入数据

1.2 直接上代码

public class VisitInfos_mysql {

    public static void main(String[] args) throws Exception {
        // 构建执行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(5);
        env.enableCheckpointing(2000, CheckpointingMode.EXACTLY_ONCE);
        // 读取文本数据 DataStreamSource 是数据源
        DataStreamSource<String> visitinfos = env.readTextFile("TheFilePaths");

        // Mysql JDBC 连接器
        JdbcConnectionOptions jdbcConnectionOptions = new JdbcConnectionOptions.JdbcConnectionOptionsBuilder()
                .withUrl("jdbc:mysql://localhost:3306/xxx")
                .withDriverName("com.mysql.cj.jdbc.Driver")
                .withUsername("username")
                .withPassword("passwd")
                .build();


        SingleOutputStreamOperator<List<String>> results = visitinfos.flatMap(new FlatMapFunction<String, List<String>>() {
            @Override