Flink自定义source连接ES

最新推荐文章于 2024-11-23 18:47:23 发布

weixin_45589914

最新推荐文章于 2024-11-23 18:47:23 发布

阅读量2.4k

点赞数

文章标签： flink 大数据

本文链接：https://blog.csdn.net/weixin_45589914/article/details/110518514

版权

本文档介绍了如何在Flink中自定义source，通过继承sourceFunction并重写run和cancel方法，结合Jest库来操作Elasticsearch，实现与ES的连接。同时，文章还讨论了如何进行连接成功的断言检查，以及使用单例设计模式确保EsClient的唯一性。

摘要由CSDN通过智能技术生成

Flink自动定义source

继承sourceFunction

在这里插入图片描述

重写run和cancel方法

class EsSource extends SourceFunction[String]{
   
  //判断是否取消运行
  var isRunning = true

  override def run(ctx: SourceFunction.SourceContext[String]): Unit = {
   
    val client: JestClient = EsClient.getEsClient()
    //開始採集數據
    log.info()
    while (isRunning) {
   
 		EsClient.bulkInsertData("", new util.ArrayList[Map.type])
    }
  }
  override def cancel(): Unit = isRunning = false
}