Flink使用自定义Sink类向神通数据库插入数据

使用自定义Sink类的方式:如下
这是使用的是Table转为DataStream,只是使用.addSink()方法

TupleTypeInfo<Tuple2<String, String>> tupleType = new TupleTypeInfo<>(STRING(), STRING());
Table mySourceTable  = stEvn.from("test_source");
DataStream dataStream =stEvn.toAppendStream(mySourceTable, tupleType);
dataStream.addSink(new TestSink());

自定义Sink类,需要继承RichSinkFunction;
这里是向神通数据库插数据,其它数据库类同;


import com.alibaba.fastjson.JSONObject;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;

import java.sql.*;

/**
 * 继承RichSinkFunction<Tuple2<String, String>>类,
 * 其中Tuple2<String, String>为source端传到sink的数据类型,这个根据Source端数据类型而定
 */
public class TestSink extends RichSinkFunction<Tuple2<String, String>> {

    protected Connection connect = null;

    /**
     * open方法在sink第一次启动时调用,一般用于sink的初始化操作
     */
    @Override
    public void open(Configuration parameters) throws Exception {
        super.open(parameters);
        String url = "jdbc:oscar://localhost:2021/OSRDB";
        String user = "SYSDBA";
        String pwd = "123456";
        Class.forName("com.oscar.Driver");
        connect = DriverManager.getConnection(url, user, pwd);
    }

    /**
     * invoke方法是sink数据处理逻辑的方法,source端传来的数据都在invoke方法中进行处理
     * 其中invoke方法中第一个参数类型与RichSinkFunction<>中的泛型对应。
     * 第二个参数为一些上下文信息
     */
    @Override
    public void invoke(Tuple2<String, String> value, Context context) throws Exception {
        if (value.f0 != null && !"".equals(value.f0)) {
            //从数据源获取到的数据,将其转换为json
            JSONObject object = JSONObject.parseObject(value.f0);
            //执行的sql语句
            String sql = "insert into TEST_TABLE (NAME,AGE) values(?,?)";
            // 创建一个Statment对象
            PreparedStatement ps = connect.prepareStatement(sql);
            // 为sql语句中第一个问号赋值
            ps.setString(1, object.getString("name"));
            // 为sql语句中第二个问号赋值
            ps.setString(2, object.getString("age"));
            ps.executeUpdate();
        } else {
            //无操作
        }
    }

    /**
     * close方法在sink结束时调用,一般用于资源的回收操作
     */
    @Override
    public void close() throws Exception {
        if (connect != null) {
            connect.close();
        }
        super.close();
    }
}


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值