Elasticsearch （集成）Flink

Flink框架介绍

Apache Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

Apache Spark掀开了内存计算的先河，以内存作为赌注，赢得了内存计算的飞速发展。但是在其火热的同时，开发人员发现，在Spark中，计算框架普遍存在的缺点和不足依然没有完全解决，而这些问题随着5G时代的来临以及决策者对实时数据分析结果的迫切需要而凸显的更加明显：

• 数据精准一次性处理（Exactly-Once）
• 乱序数据，迟到数据
• 低延迟，高吞吐，准确性
• 容错性

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。在Spark火热的同时，也默默地发展自己，并尝试着解决其他计算框架的问题。
慢慢地，随着这些问题的解决，Flink慢慢被绝大数程序员所熟知并进行大力推广，阿里公司在2015年改进Flink，并创建了内部分支Blink，目前服务于阿里集团内部搜索、推荐、广告和蚂蚁等大量核心实时业务。

框架集成

修改pom文件，增加相关依赖类库

	<properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.12</artifactId>
            <version>1.12.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.12</artifactId>
            <version>1.12.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.12</artifactId>
            <version>1.12.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-elasticsearch7_2.11</artifactId>
            <version>1.12.0</version>
        </dependency>

        <!-- jackson -->
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.11.1</version>
        </dependency>
    </dependencies>

功能实现

public class FlinkElasticsearchSinkTest {
    public static void main(String[] args) throws Exception {
        //构建Flink环境对象
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //数据的输入
        DataStreamSource<String> source = env.socketTextStream( "localhost", 9999 );

        //使用ESBuilder 构建输出
        List<HttpHost> hosts = new ArrayList<>();

        hosts.add( new HttpHost( "localhost",9200,"http" ) );


        ElasticsearchSink.Builder<String> esBuilder = new ElasticsearchSink.Builder<>( hosts
                , new ElasticsearchSinkFunction<String>() {



            @Override
            public void process(String s, RuntimeContext runtimeContext, RequestIndexer requestIndexer) {

                Map<String, String> jsonMap = new HashMap<>();
                jsonMap.put( "data",s );

                IndexRequest indexRequest = Requests.indexRequest();

                indexRequest.index("flink-index");
                indexRequest.id("9001");
                indexRequest.source(jsonMap);


                requestIndexer.add( indexRequest );
            }
        } );

        //Sink 数据落地
        esBuilder.setBulkFlushMaxActions(1); //来一条处理一条，
        source.addSink( esBuilder.build() );

        //执行操作
        env.execute("FlinkElasticsearchSinkTest");
    }
}