Flink Java 之 MySQL Sink

1. 实体类

package com.daidai.sink.domain;

import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;

@Data
@AllArgsConstructor
@NoArgsConstructor
public class User {
    private Integer id;
    private String username;
    private String password;
}

2. 自定义MySQL sink 继承 RichSinkFunction

package com.daidai.sink.mysqlsink;

import com.daidai.sink.domain.User;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

public class MyMySqlSink extends RichSinkFunction<User> {

    private Connection connection = null;
    private PreparedStatement prepareStatement = null;

    @Override
    public void open(Configuration parameters) throws Exception {
        connection = DriverManager.getConnection(
                "jdbc:mysql://localhost:3306/flink",
                "root",
                "000000"
        );
        String sql = "insert into user values(?, ?, ?)";
        prepareStatement = connection.prepareStatement(sql);
    }

    @Override
    public void invoke(User value, Context context) throws Exception {
        prepareStatement.setInt(1, value.getId());
        prepareStatement.setString(2, value.getUsername());
        prepareStatement.setString(3, value.getPassword());
        prepareStatement.execute();
    }

    @Override
    public void close() throws Exception {
        if (prepareStatement != null) {
            prepareStatement.close();
        }
        if (connection != null) {
            connection.close();
        }
    }


}

3. 添加 MySQL sink

package com.daidai.sink;

import com.daidai.sink.domain.User;
import com.daidai.sink.mysqlsink.MyMySqlSink;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class MySqlSink {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        DataStreamSource<User> userSource = env.fromElements(new User(1, "admin", "admin"));

        userSource.addSink(new MyMySqlSink());

        env.execute();

    }

}

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实现 FlinkSink MySQL 的两阶段提交,需要以下步骤: 1. 在 Flink 程序中,使用 Flink JDBC 连接器来连接 MySQL 数据库。 2. 创建一个 Transaction 类,用于实现两阶段提交协议的相关方法。 3. 在 FlinkSink 函数中,实现两阶段提交协议的相关逻辑。具体来说,需要实现以下方法: - `open()`:在该方法中创建一个新的 Transaction 实例,并将其保存在 Sink 函数的状态中。 - `invoke()`:在该方法中,向 Transaction 实例提交数据,并根据返回值决定是否提交或回滚事务。 - `close()`:在该方法中,调用 Transaction 实例的 `close()` 方法,释放资源并提交或回滚事务。 4. 在 Transaction 类中,实现两阶段提交协议的相关方法。具体来说,需要实现以下方法: - `beginTransaction()`:在该方法中,向 MySQL 数据库发送一个 `START TRANSACTION` 命令,开始一个新的事务。该方法返回一个事务 ID,用于标识该事务。 - `prepareTransaction(transactionId)`:在该方法中,向 MySQL 数据库发送一个 `PREPARE` 命令,表示该事务已经准备好提交。如果 MySQL 数据库返回成功,则该方法返回 `true`,否则返回 `false`。 - `commitTransaction(transactionId)`:在该方法中,向 MySQL 数据库发送一个 `COMMIT` 命令,表示该事务已经提交。如果 MySQL 数据库返回成功,则该方法返回 `true`,否则返回 `false`。 - `rollbackTransaction(transactionId)`:在该方法中,向 MySQL 数据库发送一个 `ROLLBACK` 命令,表示该事务已经回滚。如果 MySQL 数据库返回成功,则该方法返回 `true`,否则返回 `false`。 5. 在 Flink 程序中,使用以上实现的 Sink 函数,将数据写入 MySQL 数据库。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值