Flink:JDBC Sink

Flink:JDBC Sink

使用JDBC Sink需要先导入依赖(我的Flink为1.12)

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-jdbc_2.11</artifactId>
  <version>1.12.0</version>
</dependency>

编码:

创建JDBCSink类

package com.lzy.exer;

import com.lzy.day02.bean.WaterSensor;
import org.apache.flink.connector.jdbc.JdbcConnectionOptions;
import org.apache.flink.connector.jdbc.JdbcExecutionOptions;
import org.apache.flink.connector.jdbc.JdbcSink;
import org.apache.flink.connector.jdbc.JdbcStatementBuilder;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.sql.PreparedStatement;
import java.sql.SQLException;

public class JDBCSink {
    public static void main(String[] args) throws Exception {

        // 创建流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 从端口读取数据
        DataStreamSource<String> streamSource = env.socketTextStream("hadoop102", 9999);

        // 将读取到的数据转化为JavaBean
        SingleOutputStreamOperator<WaterSensor> waterSensorDStream = streamSource.map(
                line -> {
                    String[] fields = line.split(" ");
                    return new WaterSensor(fields[0],
                            Long.valueOf(fields[1]),
                            Integer.valueOf(fields[2])
                    );
                }
        );

        // 使用JDBC Sink将数据写入MySQL
        waterSensorDStream.addSink(
                JdbcSink.sink(
                        "insert into test_sensor values(?,?,?)",
                        new JdbcStatementBuilder<WaterSensor>() {
                            @Override
                            public void accept(PreparedStatement preparedStatement, WaterSensor waterSensor) throws SQLException {
                                preparedStatement.setString(1,waterSensor.getId());
                                preparedStatement.setLong(2,waterSensor.getTs());
                                preparedStatement.setInt(3,waterSensor.getVc());
                            }
                        },
                        new JdbcExecutionOptions.Builder().withBatchSize(1).build(),
                        new JdbcConnectionOptions.JdbcConnectionOptionsBuilder()
                        .withDriverName("com.mysql.jdbc.Driver")
                        .withUrl("jdbc:mysql://hadoop102:3306/flink_test?useSSL=false")
                        .withUsername("root")
                        .withPassword("123456")
                        .build()
                )
        );

        // 执行
        env.execute();

    }
}

创建数据库flink_test:

create database flink_test;

创建表test_sensor:

create table test_sensor(
	id VARCHAR(255),
	ts bigint,
	vc int
);

在虚拟机中使用nc工具,向端口发送数据:

nc -lk 9999

测试数据:

sensor_1 1 1
sensor_1 2 2

查看MySQL中是否有结果:

MySQL中的结果

  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值