docker安装es8.x及elasticSearch8部分api使用

已于 2023-08-21 17:06:30 修改
阅读量801 收藏
点赞数
文章标签： elasticsearch java
于 2023-08-21 16:54:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41551345/article/details/132411933
版权

docker中安装es8
1、es8的tar下载地址: tar包下载地址)
2、docker load -i es-name
3、docker run -d --name elasticsearch-8.6.2 -e ES_JAVA_OPTS=“-Xms256m -Xmx256m” -p 9200:9200 -p 9300:9300 -e “discovery.type=single-node” elasticsearch:8.6.2
4、8开始以后不支持直接使用http方式访问es:
4.1、cd /usr/share/elasticsearch/config
4.2、 vi elasticsearch.yml将xpack.security.enabled: false,或者直接将该配置下的所有enable改为false
解决docker中vi命令无效时修改文件内容麻烦的问题
1、cat > 需要修改的文件名称 << EOF
2、将需要修改的内容全部复制粘贴到shell中在对内容进行修改, 因为部分内容修改到该文件时该内容将会覆盖原有文件中 是所有内容
3、最后EOF结束修改，修改完成

自动配置类,用于注入es高级客户端及低级客户端用于操作Api

@Configuration
public class RestAutoConfigure {

    private static final Logger logger = LoggerFactory.getLogger(RestAutoConfigure.class);

    @Value("${spring.elasticsearch.rest.uris:}")
    private String elasticsearchNodes;

    /**
     * Description 低级客户端
     * @date 2023/8/13 20:11
     * @param:
     * @return: org.elasticsearch.client.RestClient
     */
    @Bean
    public RestClient restClient() {
        HttpHost[] httpHosts = getHttpHosts(elasticsearchNodes);
        if (httpHosts != null && httpHosts.length > 0) {
            RestClientBuilder http = RestClient.builder(httpHosts);
            return http.build();
        }
        return null;
    }

    /**
     * Description 阻塞的 Java 客户端
     * @date 2023/8/13 20:11
     * @param:
     * @return: co.elastic.clients.elasticsearch.ElasticsearchClient
     */
    @Bean
    @Primary
    public ElasticsearchClient restHighLevelClient() {
        HttpHost[] httpHosts = getHttpHosts(elasticsearchNodes);
        if (httpHosts != null && httpHosts.length > 0) {
            // Create the RestClient
            RestClient restClient = RestClient.builder(httpHosts).build();
            // Create the transport with a Jackson mapper
            RestClientTransport transport = new RestClientTransport(restClient, new JacksonJsonpMapper());
            // create the API client
            return new ElasticsearchClient(transport);
        }
        return null;
    }

    /**
     * Description 获取httpHosts
     *
     * @date 2022/7/15 9:42
     * @param: elasticsearchNodes
     * @return: org.apache.http.HttpHost[]
     */
    private HttpHost[] getHttpHosts(String elasticsearchNodes) {
        if (StrUtil.isNotEmpty(elasticsearchNodes)) {
            // 逗号分割多个es路径
            String[] elasticsearchNode = elasticsearchNodes.split(",");
            HttpHost[] httpHosts = new HttpHost[elasticsearchNode.length];
            int index = 0;
            HttpHost http;
            for (String s : elasticsearchNode) {
                if (s.contains("http://")) {
                    String[] split = s.split("://");
                    String schema = split[0];
                    String ipPort = split[1];
                    String ip = ipPort.split(":")[0];
                    String port = ipPort.split(":")[1];
                    http = new HttpHost(ip, Integer.parseInt(port), schema);
                } else {
                    String ip = s.split(":")[0];
                    String port = s.split(":")[1];
                    http = new HttpHost(ip, Integer.parseInt(port), "http");
                }
                httpHosts[index] = http;
                index++;
            }
            return httpHosts;
        }
        return null;
    }
}

一般查询设置,针对指定索引查询

private SearchRequest.Builder getSearchRequest(Object[] indices, String[] types) {

        if (null == indices) {
            return new SearchRequest.Builder();
        }

        SearchRequest.Builder searchRequestBuilder = new SearchRequest.Builder();
        if (indices.length > 0) {
            /*筛选出指定的zipkin:span所引内容   处理当天的链路信息 索引格式：zipkin-span-2022-08-02 */
            List<String> zipkinIndex = new ArrayList<>();
            for (Object index : indices) {
                if (((String) index).contains(Constant.SPAN)) {
                    zipkinIndex.add((String) index);
                }
            }
            // 分片响应超时时间设置
            searchRequestBuilder.timeout("10s");
            /*集合转为数组 ----指定搜索的文档类型*/
            searchRequestBuilder.index(zipkinIndex);
        }
        // 每个searchRequestBuilder对象build()后意味着当前对象以及结束,重新获取
        return searchRequestBuilder;
    }


 /**
     * 获取所有日志索引名称
     */
    public String[] getIndices() {
        String[] indices = new String[0];
        try {
            Request request = new Request(Constant.GET, Constant.INDICES_URL);
            //发送获取所有索引名称的请求
            Response response = restClient.performRequest(request);
            String responseBody = EntityUtils.toString(response.getEntity());
            //从响应报文中提取索引名称  除去返回值中第一个索引名称为index的索引该值为es中的默认索引名
            responseBody = responseBody.substring(responseBody.indexOf('\n') + 1);
            /*将所有索引名称分隔出来*/
            indices = responseBody.split("\n");
        } catch (IOException e) {
            logger.error("获取所有日志索引名称异常：", e);
        }
        return indices;
    }

bool查询用例

public static List<Hit<Object>> getOriginEsTraceLinkData(Map<String, Object> typeMap, Map<String, Object> condition) {
        /*临时存储数据集合*/
        List<Hit<Object>> tempSearches = new ArrayList<>();
        try {
            LinkSearchBuilder.builder(typeMap);
            long endMillis = condition.get(Constant.END_TS) == null ? 0 : (long) condition.get(Constant.END_TS);
            long lookBack = condition.get(Constant.LOOK_BACK) == null ? 0 : (long) condition.get(Constant.LOOK_BACK);
            long beginMillis = Math.max(endMillis - lookBack, EARLIEST_MS);
            String belApp = (String) condition.get(Constant.BEL_APP);
            String belLogy = (String) condition.get(Constant.BEL_LOGY);
            String belSer = (String) condition.get(Constant.BEL_SER);
            String traceId = (String) condition.get(Constant.TRACE_ID);
            Integer limit = (Integer) condition.get(Constant.LIMIT);
            long minDuration = condition.get(Constant.MIN_DURATION) == null ? 0 : (long) condition.get(Constant.MIN_DURATION);
            long maxDuration = condition.get(Constant.MAX_DURATION) == null ? 0 : (long) condition.get(Constant.MAX_DURATION);
            limit = (limit != null) ? limit : 10;

            // bool查询
            BoolQuery.Builder boolQueryBuilder = new BoolQuery.Builder();

            // 根据不同的条件构建Query
            if (beginMillis > 0 && endMillis > 0) {
                Query rangeQueryBuilder = RangeQuery.of(builder -> builder.field(Constant.TIMESTAMP_MILLIS).gt(JsonData.of(beginMillis)).lt(JsonData.of(endMillis)))._toQuery();
                boolQueryBuilder.filter(rangeQueryBuilder);
            }
            // tags字段下的查询不生效,tags字段对应的es模板信息不可查询
            if (StrUtil.isNotEmpty(belApp)) {
                Query belAppTermQueryBuilder = TermQuery.of(builder -> builder.field("belApp").value(belApp))._toQuery();
                boolQueryBuilder.filter(belAppTermQueryBuilder);
            }

            if (StrUtil.isNotEmpty(belLogy)) {
                Query belLogyTermQuery = TermQuery.of(builder -> builder.field("belLogy").value(belLogy))._toQuery();
                boolQueryBuilder.filter(belLogyTermQuery);
            }

            if (StrUtil.isNotEmpty(belSer)) {
                Query belSerTermQuery = TermQuery.of(builder -> builder.field("localEndpoint.serviceName").value(belSer))._toQuery();
                boolQueryBuilder.filter(belSerTermQuery);
            }

            if (StrUtil.isNotEmpty(traceId)) {
                Query traceIdTermQuery = TermQuery.of(builder -> builder.field("traceId").value(traceId))._toQuery();
                boolQueryBuilder.filter(traceIdTermQuery);
            }

            if (minDuration > 0) {
                Query durationQueryBuilder = RangeQuery.of(builder -> builder.field(Constant.DURATION).gt(JsonData.of(0)).lt(JsonData.of(minDuration)))._toQuery();
                boolQueryBuilder.filter(durationQueryBuilder);
            }
            searchRequestBuilder.size(limit);
            // 封装查询
            searchRequestBuilder.query(boolQueryBuilder.build()._toQuery());
            SearchRequest searchRequest = searchRequestBuilder.build();
            System.out.println("es查询语句:" + searchRequest.toString());
            // 查询结果
            SearchResponse<Object> searchResponse = restHighLevelClient.search(searchRequest, Object.class);
            if (searchResponse.hits().total() != null && searchResponse.hits().total().value() > 0) {
                /*获取到数据*/
                List<Hit<Object>> searchHits = searchResponse.hits().hits();
                /*将第一次获取的数据添加到临时集合中*/
                tempSearches.addAll(searchHits);
            }
        } catch (Exception e) {
            logger.info("es数据链路信息查询异常", e);
        }
        return tempSearches;
    }

scroll查询用例

 public static List<SpanSource> getAllData(Map<String, Object> typeMap) {
        LinkSearchBuilder.builder(typeMap);
        List<SpanSource> result = new ArrayList<>();
        List<String> scrollIds = new ArrayList<>();
        long startMillis = 0;
        long endMillis = 0;
        String belLogy = null;
        try {
            if (CollectionUtil.isNotEmpty(typeMap)) {
                startMillis = typeMap.get(Constant.FROM_TIME) == null ? 0 : (long) typeMap.get(Constant.FROM_TIME);
                endMillis = typeMap.get(Constant.TO_TIME) == null ? 0 : (long) typeMap.get(Constant.TO_TIME);
                belLogy = (String) typeMap.get(Constant.BEL_LOGY);
            }
            /*每次查询分页大小设置*/
            searchRequestBuilder.size(200);
            // 初始化scrollId时长
            searchRequestBuilder.scroll(new Time.Builder().time(SCROLL_TIME).build());

            /*从数据库中获取当前创建时间*/
            if ((startMillis > 0 && endMillis > 0) && (startMillis != endMillis)) {
                // 多条件boolean查询
                BoolQuery.Builder boolQueryBuilder = new BoolQuery.Builder();
                /*范围查询  处理完成的数据的最近时间之后的所有数据进行查询该范围之后的数据*/
                long finalStartMillis = startMillis;
                long finalEndMillis = endMillis;
                Query rangeQueryBuilder = RangeQuery.of(builder -> builder.field(Constant.TIMESTAMP_MILLIS).gt(JsonData.of(finalStartMillis)).lt(JsonData.of(finalEndMillis)))._toQuery();
                boolQueryBuilder.filter(rangeQueryBuilder);
                String finalBelLogy = belLogy;
                Query belAppTermQueryBuilder = TermQuery.of(builder -> builder.field("belLogy").value(finalBelLogy))._toQuery();
                boolQueryBuilder.filter(belAppTermQueryBuilder);
                searchRequestBuilder.query(boolQueryBuilder.build()._toQuery());
            } else {
                // 查询所有值
                searchRequestBuilder.query(QueryBuilders.matchAllQuery()._toQuery());
            }
            /*执行查询*/
            SearchResponse<Object> searchResponse = restHighLevelClient.search(searchRequestBuilder.build(), Object.class);
            if (searchResponse.hits().hits().size() > 0) {
                /*临时存储数据集合*/
                List<Hit<Object>> tempSearches = new ArrayList<>();
                /*获取scrollId*/
                String scrollId = searchResponse.scrollId();
                scrollIds.add(scrollId);
                /*获取到数据*/
                List<Hit<Object>> searchHits = searchResponse.hits().hits();
                /*将第一次获取的数据添加到临时集合中*/
                tempSearches.addAll(searchHits);

                /*滚动查询*/
                while (searchHits.size() > 0) {
                    ScrollRequest.Builder builder = new ScrollRequest.Builder();
                    // 初始时的scrollId值
                    builder.scrollId(scrollId);
                    // scroll查询时scrollId的有效时长值必须设置
                    builder.scroll(new Time.Builder().time(SCROLL_TIME).build());
                    //响应必须是上面的响应对象，需要对上一层进行覆盖
                    ScrollResponse<Object> scrollResult = restHighLevelClient.scroll(builder.build(), Object.class);
                    scrollId = scrollResult.scrollId();
                    scrollIds.add(scrollId);
                    searchHits = scrollResult.hits().hits();
                    // 将数据添加到存储的集合中
                    tempSearches.addAll(searchHits);
                }
                //清除滚动
                clearScrollIds(restHighLevelClient, scrollIds);
                }

 	/***
     * Description scroll滚动查询，es默认是存储500条scroll_id，
     * 在一个scroll生存时间内创建超过500条继续使用滚动查询时，会报错.
     * @date 2022/7/19 9:53
     * @param: client
     * @param: scrollIds
     * @return: boolean
     */
    private static boolean clearScrollIds(ElasticsearchClient client, List<String> sIds) {
        //清除滚动，否则影响下次查询
        ClearScrollRequest.Builder clearScrollRequest = new ClearScrollRequest.Builder();
        clearScrollRequest.scrollId(sIds);
        try {
            client.clearScroll(clearScrollRequest.build());
            return true;
        } catch (IOException e) {
            return false;
        }
    }
不喜 勿喷
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
运用es8 搭建自己的智能问答系统
05-09
es 智能问答 es8.1 elasticsearch8.x 智能问答系统 ai
docker 安装ElasticSearch 6.x的教程详解
09-29
主要介绍了docker 安装ElasticSearch 6.x的教程，非常不错，具有一定的参考借鉴价值 ,需要的朋友可以参考下
Docker安装Elasticsearch8详细步骤
Java高知社区
01-12 1428
前面讲了Elasticsearch7的安装步骤，今天讲讲Elasticsearch8的安装，大同小异。1、配置环境变量。2、配置compose文件。3、启动。4、停止及删除部署。5、挂载配置。
docker安装elasticsearch8.*完整详细教程
GGB_GG的博客
04-22 1556
打开 elasticsearch.yml 文件 找到 xpack.security.enabled: true 改为 xpack.security.enabled: false,这样就可以直接 使用http访问，并且不需要账号密码鉴权,这个设置看个人情况，如果是生产环境建议开始开启 https和账号密码鉴权。将elasticsearch.hosts: [ "http://elasticsearch:9200" ] 改为 具体 Elasticsearch 通信地址。es8.0以上默认开启了 ssl 认证。
Docker安装ElasticSearch8.X docker安装elasticsearch8.X完整详细教程
半只
07-11 6480
在新安装的情况下，您需要设置一个初始的内置用户以及相关的登录凭据。表示 指定 Elasticsearch 节点在单节点模式下运行，即启动一个独立的 Elasticsearch 实例而不是一个多节点集群。端口：是用于Elasticsearch节点之间的内部通信和数据传输的端口，也称为传输层端口。端口：用于HTTP REST API与Elasticsearch进行通信和操作的端口。表示 es-head访问端口，开启主机与容器端口映射。端口，访问宿主机端口的时候会映射到对应容器端口。容器启动之后使用浏览器访问。
Elastic：使用 Docker 安装 Elastic Stack 8.x 并开始使用
热门推荐
Elastic 中国社区官方博客
02-15 1万+
Elastic Stack 8.0 终于于最近发布了。在我之前的文章 “Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单” 我已经详细地描述了如何在本地部署 Elasticsearch 及 Kibana。设置 Elasticsearch 的最简单方法是使用 Elastic Cloud 上的 Elasticsearch Service 创建托管部署。如果你更喜欢管理自己的测试环境，可以使用 Docker 安装和运行 Elasticsearch。在今.
docker 安装es8.x kibana8.x
学海无涯,我用JAVA
06-29 2359
由于 es 8.x 开始需要有了一些安全校验,直接用安装包安装很是复杂,安装了好几次都失败了,后来用了docker安装,真的是省事,快捷,准确,方便~~~ # 拉取镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:8.2.3 docker pull docker.elastic.co/kibana/kibana:8.2.3 ...
Docker安装最新版ES8.4.1
a327784689的专栏
09-02 2925
docker安装es8.4.1
docker 24.0.5 离线安装
最新发布
05-21
docker 24.0.5 离线安装 执行install_docker.sh 这个脚本即可，注意！！脚本要执行两遍！docker安装会自动启动 安装包里包含了docker的各种依赖项的rpm包 ，还有docker compose命令
docker-20.10.8.tgz
09-26
docker-ce 20.10.8 二进制安装包，适合内网离线安装
docker24.0.5.rar
08-31
在IT行业中，Docker是一个非常重要的容器化技术，它允许开发者打包他们的应用及依赖环境到一个可移植的容器中，从而实现跨平台的无缝运行。本文将详细讲解如何在CentOS 7上进行Docker 24.0.5的离线安装，包括所需的...
docker.tar.gz安装包社区版Version:20.10.7
08-04
docker.tar.gz安装包社区版Version:20.10.7
Docker部署ElasticSearch8
dehuisun的专栏
08-10 786
帮助小伙伴快速部署研发或测试环境进行学习测试。Docker安装就不再赘述了，还没有安装的同学可以自行百度，非常的简单。
docker安装ElasticSearch8.x和Kibana8.x
qq_44723556的博客
06-16 1796
账号：elastic 密码：P+n5=mlde_4PE4Sp6p49（此密码为个人的）# 生成enrollment-token（目前只发现kibana登录需要使用）这时，需要修改es的配置文件。增加跨域、http、关闭密码校验的配置。下找到kibana.yml进行编辑，让kibana与启动的es连接。kibana进行查找，选择合适的版本，这里选择。# 生成超级管理员elastic的密码。复制config文件夹中的文件到宿主机上。http://你的ip:5601。（2）启动kibana。
es8+版本docker安装运行包括kibana
weixin_57392053的博客
08-14 233
进入到es的文件夹下（我的目录：/usr/local/docker-data/elasticsearch）执行下载（从github下载的，没挂梯子就多尝试几次）在容器里面去没有vi、vim，因此用下面的方法添加。3、创建es网络，因为kibana需要通信。目的：防止以后忘了不会弄了记录一下。4、创建并运行es容器容器。重启后访问ip+9200。6、创建运行kibana。访问 ip+5601。
Docker下载Elasticsearch镜像并运行Elasticsearch容器
m0_64284147的博客
08-22 2409
除了到dockerhub的官网上搜索tomcat镜像外还可以在linux上使用命令来搜索tomcat镜像（不过我建议用上面的方式搜索镜像，因为关于镜像的信息会更加详细和明朗）3、点击进入页面查看关于elasticsearch镜像的版本信息（下图圈起来的表示是可以下载的版本）5、启动容器时给容器映射主机端口，方便外网对elasticsearch容器进行访问。7、把elasticsearch自动生成的证书从容器里拷贝出来到主机。4、下载版本为8.3.3的elasticsearch镜像。
ES8生产实践——Docker部署ELK8.8与日志采集
qq_33816243的博客
08-08 1339
如果想在本地环境快速部署一套ELK服务，推荐使用docker方式部署。需要注意的是部署单节点es服务仅用于实验测试环境使用，未配置开机自启，所有容器未加–restart=always参数。可根据实际情况添加该参数，生产环境建议使用eck部署和管理es容器集群。
docker部署elasticsearch8
2401_84247423的博客
04-12 876
能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**
Docker安装Elasticsearch 8.x 、Kibana 8.x等
做梦的咸鱼
06-22 7181
Docker安装ElasticSearch 8.2.0 ，Kibane 8.2.0，ik分词，elasticsearch-head，elasticsearch-java
docker 安装es8
08-30
要在 Docker 中安装 Elasticsearch 8，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了 Docker。 2. 创建一个新的目录，用于存储 Elasticsearch 的配置文件和数据。在终端中运行以下命令： ``` mkdir esdata ``` 3. 进入新创建的目录： ``` cd esdata ``` 4. 创建一个 `docker-compose.yml` 文件，并使用文本编辑器打开它： ``` touch docker-compose.yml nano docker-compose.yml ``` 5. 在 `docker-compose.yml` 中添加以下内容： ``` version: '3' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.16.2 container_name: my-elasticsearch environment: - discovery.type=single-node ports: - 9200:9200 volumes: - ./data:/usr/share/elasticsearch/data ``` 注意：这里使用 `image: docker.elastic.co/elasticsearch/elasticsearch:7.16.2` 来指定安装 Elasticsearch 8.x 版本。您可以根据需要更改版本号。 6. 保存并关闭文件。 7. 返回到之前创建的目录： ``` cd .. ``` 8. 使用 Docker Compose 启动 Elasticsearch 容器： ``` docker-compose up -d ``` 9. 等待一段时间，直到容器启动并运行 Elasticsearch 服务。 现在，您应该可以通过 `http://localhost:9200` 访问正在运行的 Elasticsearch 8 服务器。 请注意，这只是一个简单的示例配置，用于在 Docker 中安装 Elasticsearch 8。根据您的需求，您可能需要调整配置文件以满足您的实际需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值