Elasticsearch-Flink框架集成

最新推荐文章于 2024-11-23 18:47:23 发布

魔笛Love

最新推荐文章于 2024-11-23 18:47:23 发布

阅读量467

点赞数

文章标签： elasticsearch flink big data

本文链接：https://blog.csdn.net/clearlxj/article/details/121694858

版权

本文介绍了Apache Flink作为大数据处理引擎的优势，特别是在实时数据处理、容错性和数据精准一次性处理方面。通过与Elasticsearch的集成，实现了数据流的高效写入。示例代码展示了如何在Flink环境中设置Elasticsearch数据输出，将接收到的数据存储到Elasticsearch索引中，为实时数据分析提供支持。

摘要由CSDN通过智能技术生成

Flink 框架集成

Flink 框架介绍

在这里插入图片描述

Apache Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

Apache Spark 掀开了内存计算的先河,以内存作为赌注,赢得了内存计算的飞速发展。但是在其火热的同时,开发人员发现,在 Spark 中,计算框架普遍存在的缺点和不足依然没有完全解决,而这些问题随着 5G 时代的来临以及决策者对实时数据分析结果的迫切需要而凸显的更加明显:

数据精准一次性处理(Exactly-Once)

乱序数据,迟到数据

低延迟,高吞吐,准确性

容错性

Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。在Spark 火热的同时,也默默地发展自己,并尝试着解决其他计算框架的问题。

慢慢地,随着这些问题的解决,Flink 慢慢被绝大数程序员所熟知并进行大力推广,阿里公司在 2015 年改进 Flink,并创建了内部分支 Blink,目前服务于阿里集团内部搜索、推荐、广告和蚂蚁等大量核心实时业务。

框架集成

pom依赖如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>com.starnet.es</groupId>
    <artifactId>flink-elasticsearch</artifactId>
    <version>1.0</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.11.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>1.11.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version>1.11.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch7_2.11</artifactId>
            <version>1.11.4</version>
        </dependency>
        <!-- jackson -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.11.1</version>
        </dependency>
    </dependencies>
</project>

代码如下：

package com.starnet.es;

import org.apache.flink.api.common.functions.RuntimeContext;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.elasticsearch.ElasticsearchSinkFunction;
import org.apache.flink.streaming.connectors.elasticsearch.RequestIndexer;
import org.apache.flink.streaming.connectors.elasticsearch7.ElasticsearchSink;
import org.apache.http.HttpHost;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.client.Requests;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class FlinkTestES {

    public static void main(String[] args) throws Exception {

        // 创建flink环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 数据的输入
        DataStreamSource<String> source = env.socketTextStream("localhost", 4444);

        // 使用ES的Builder构造输出
        List<HttpHost> hosts = new ArrayList<>();
        hosts.add(new HttpHost("hadoop113", 9200));
        ElasticsearchSink.Builder<String> esBuilder = new ElasticsearchSink.Builder<>(hosts, new ElasticsearchSinkFunction<String>() {

            @Override
            public void process(String s, RuntimeContext runtimeContext, RequestIndexer requestIndexer) {

                Map<String, String> jsonMap = new HashMap<>();
                jsonMap.put("data", s);

                IndexRequest indexRequest = Requests.indexRequest();
                indexRequest.index("flink-index");
                indexRequest.id("95555");
                indexRequest.source(jsonMap);

                requestIndexer.add(indexRequest);
            }
        });

        // 数据的输出
        // 数据达到多少之后写入ES，默认是1000
        esBuilder.setBulkFlushMaxActions(1);
        source.addSink(esBuilder.build());

        env.execute("flink-es");
    }
}