flink: 把文件中的数据通过table API 导入到ES

package cn.edu.tju.demo2;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.DataTypes;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.table.descriptors.*;
import org.apache.flink.types.Row;

public class TestEs {
    private static String HOST = "xx.xx.xx.xx";
    private static String INDEX = "info";
    private static String FILE_PATH = "info.txt";
    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);



        tableEnv.connect(new FileSystem().path(FILE_PATH))
                .withFormat(new Csv())
                .withSchema(new Schema()
                        .field("userId", DataTypes.STRING())
                        .field("ts", DataTypes.BIGINT())
                        .field("val", DataTypes.DOUBLE()))
                .createTemporaryTable("input");


        Table dataTable = tableEnv.from("input");
        Table aggregateTable = dataTable
                .groupBy("userId")
                .select("userId, userId.count as total, val.avg as avg");


        tableEnv.connect(new Elasticsearch()
                        .version("7")
                        .host(HOST, 9200, "http")
                        .index(INDEX)
                        .documentType("_doc"))
                //数据模式,ES支持upsert,kafka和文件不支持。默认是使用append模式
                .inUpsertMode()
                .withFormat(new Json())
                .withSchema(new Schema()
                        .field("userId", DataTypes.STRING())
                        .field("total", DataTypes.BIGINT())
                        .field("avg", DataTypes.DOUBLE()))
                .createTemporaryTable("output");

        aggregateTable.insertInto("output");

        tableEnv.execute("my job");

    }
}

info.txt的内容:

user1,1680000890,31.6
user2,1681111900,38.3
user1,1680000890,34.9
  • 8
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值