NoSuchMethodError: org.elasticsearch.client.RestHighLevelClient.ping([Lorg/apache/http/Header;)Z

# 情景
我是在flink集成es的时候,出现的当前问题


# 问题
NoSuchMethodError: org.elasticsearch.client.RestHighLevelClient.ping([Lorg/apache/http/Header;)Z


# 现象
启动报错,flink无法提交job


# 原因
主要是maven依赖问题


# 解决
<!-- kafka-flink-source/sink连接器 -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka-0.11_2.12</artifactId>
    <version>1.10.1</version>
</dependency>
<!-- flink -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-java</artifactId>
    <version>1.10.1</version>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_2.12</artifactId>
    <version>1.10.1</version>
</dependency>
<!-- elasticsearch connector -->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-elasticsearch7_2.11</artifactId>
    <version>1.11.0</version>
</dependency>


# 重点
最后一个maven版本:elasticsearch-connector
我这里使用的es版本是7.6.2,flink这里是1.10.1
# 如下是代码

@SpringBootTest
class DemoApplicationTests {

    @Test
    void contextLoads() throws Exception {


        // 获取流处理执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 从kafka中读取数据
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers", "10.43.80.80:9092");
        DataStream<String> dataStream = env.addSource(
                new FlinkKafkaConsumer011<String>("from-kafka", new SimpleStringSchema(), properties)
        );

        // 数据发送到elasticsearch
        List<HttpHost> httpHosts = List.of(new HttpHost("192.168.43.43", 9200));
        dataStream.addSink(new ElasticsearchSink.Builder<String>(httpHosts,new ElasticsearchMapper()).build());
        // 打印读取数据
        dataStream.print();

        // 执行任务
        env.execute();

    }

    public static class ElasticsearchMapper implements ElasticsearchSinkFunction<String> {
        @Override
        public void process(String s, RuntimeContext runtimeContext, RequestIndexer requestIndexer) {
            // 组装数据
            Map<String, String> datas = Map.of("data", s);
            // 组织es结构
            IndexRequest indexRequest = Requests.indexRequest()
                    .id("es")
                    .index("flag")
                    .source(datas);
            // 发送数据
            requestIndexer.add(indexRequest);
        }
    }

}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值