elasticsearch索引、文档通用类

最新推荐文章于 2024-07-17 17:19:25 发布
最新推荐文章于 2024-07-17 17:19:25 发布
阅读量1.1k 收藏
点赞数 1
文章标签： elasticsearch 搜索引擎 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/long1250/article/details/122069317
版权

index操作类

package com.keyrus.search.controller;

import com.keyrus.commonutils.exception.ApiException;
import com.keyrus.commonutils.model.ResultResponse;
import com.keyrus.commonutils.response.ResultCode;
import io.swagger.annotations.Api;
import io.swagger.annotations.ApiOperation;
import io.swagger.annotations.ApiParam;
import lombok.extern.slf4j.Slf4j;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.CreateIndexRequest;
import org.elasticsearch.client.indices.CreateIndexResponse;
import org.elasticsearch.client.indices.GetIndexRequest;
import org.elasticsearch.client.indices.GetIndexResponse;
import org.elasticsearch.common.unit.TimeValue;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@Slf4j
@Api(tags = "es索引操作")
@RestController
@RequestMapping(value = "/elasticsearch")
public class ElasticsearchIndexController {

	// spring集成的elasticsearch工具类(也可以用elasticsearch依赖自己封装)
    @Autowired
    private RestHighLevelClient restHighLevelClient;

    /**
     * 索引模糊查询
     * author: wanglongfei
     * @param index
     * @return
     */
    @ApiOperation(value = "索引模糊查询", response = ResultResponse.class)
    @GetMapping(value = "/queryIndexAll", produces = {"application/json"})
    public ResultResponse queryIndexAll(
            @ApiParam(value = "索引名称") String index
    ) {
        if (index == null) {
            index = "**";
        } else {
            index = "*" + index + "*";
        }
        log.info("索引index:" + index);
        ResultResponse response = new ResultResponse(ResultCode.SUCCESS.getCode(), ResultCode.SUCCESS.getMsg());
        GetIndexRequest request = new GetIndexRequest(index);
        try {
            GetIndexResponse getIndexResponse = restHighLevelClient.indices().get(request, RequestOptions.DEFAULT);
            response.setData(getIndexResponse.getIndices());
        } catch (Exception e) {
            return new ResultResponse(ResultCode.NETWORK_ERROR.getCode(), ResultCode.NETWORK_ERROR.getMsg(), "ERROR");
        }
        return response;
    }

    /**
     * 添加索引
     * author: wanglongfei
     * @param index
     * @return
     */
    @ApiOperation(value = "添加索引", response = ResultResponse.class)
    @GetMapping(value = "/addIndex", produces = {"application/json"})
    public ResultResponse addIndex(
            @ApiParam(value = "索引名称", required = true) String index
    ) {
        log.info("索引index:" + index);
        if (index == null || "".equals(index)) {
            throw new ApiException("索引不可为空");
        }
        // 检索索引是否已存在
        GetIndexRequest existsRequest = new GetIndexRequest("twitter");
        try {
            boolean exists = restHighLevelClient.indices().exists(existsRequest, RequestOptions.DEFAULT);
            if (exists) {
                throw new ApiException("索引已存在");
            }
        } catch (Exception e) {
            return new ResultResponse(ResultCode.NETWORK_ERROR.getCode(), ResultCode.NETWORK_ERROR.getMsg(), "ERROR");
        }
        // 创建索引
        CreateIndexRequest request = new CreateIndexRequest(index);
        request.setTimeout(TimeValue.timeValueMinutes(2));
        try {
            restHighLevelClient.indices().create(request, RequestOptions.DEFAULT);
        } catch (Exception e) {
            return new ResultResponse(ResultCode.NETWORK_ERROR.getCode(), ResultCode.NETWORK_ERROR.getMsg(), "ERROR");
        }
        return new ResultResponse(ResultCode.SUCCESS.getCode(), ResultCode.SUCCESS.getMsg(), "OK");
    }

    /**
     * 删除索引
     * author: wanglongfei
     * @param index
     * @return
     */
    @ApiOperation(value = "删除索引", response = ResultResponse.class)
    @GetMapping(value = "deleteIndex", produces = {"application/json"})
    public ResultResponse deleteIndex(
            @ApiParam(value = "索引名称", required = true) String index
    ) {
        log.info("索引index:" + index);
        DeleteIndexRequest request = new DeleteIndexRequest(index);
        try {
            restHighLevelClient.indices().delete(request, RequestOptions.DEFAULT);
        } catch (Exception e) {
            return new ResultResponse(ResultCode.NETWORK_ERROR.getCode(), ResultCode.NETWORK_ERROR.getMsg(), "ERROR");
        }
        return new ResultResponse(ResultCode.SUCCESS.getCode(), ResultCode.SUCCESS.getMsg(), "OK");
    }
}

document操作类

package com.keyrus.search.controller;

import com.alibaba.fastjson.JSON;
import com.github.pagehelper.PageInfo;
import com.keyrus.commonutils.exception.ApiException;
import com.keyrus.commonutils.model.ResultResponse;
import com.keyrus.commonutils.response.ResultCode;
import com.keyrus.commonutils.util.ElasticsearchQuery;
import com.keyrus.commonutils.util.ElasticsearchUnit;
import io.swagger.annotations.Api;
import io.swagger.annotations.ApiOperation;
import io.swagger.annotations.ApiParam;
import lombok.extern.slf4j.Slf4j;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.delete.DeleteRequest;
import org.elasticsearch.action.get.GetRequest;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.MatchQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;

@Slf4j
@Api(tags = "es文档操作")
@RestController
@RequestMapping(value = "/elasticsearchDocument")
public class ElasticsearchDocumentController {

    @Autowired
    private RestHighLevelClient restHighLevelClient;

    /**
     * 增加文档
     * author: wanglongfei
     * @param unit:增加信息
     * @return
     */
    @ApiOperation(value = "增加文档", response = ResultResponse.class)
    @PostMapping(value = "/addDocument", produces = {"application/json"})
    public ResultResponse addDocument(
            @ApiParam(value = "增加信息", required = true) @RequestBody ElasticsearchUnit unit
    ) {
        if (unit == null) {
            throw new ApiException("服务器错误");
        }
        if (unit.getIndex() == null || "".equals(unit.getIndex())) {
            throw new ApiException("请输入正确的索引");
        }
        if (unit.getList() == null || unit.getList().size() <= 0) {
            throw new ApiException("文档内容为空");
        }
        // 批量操作
        BulkRequest request = new BulkRequest();
        unit.getList().forEach((t -> request.add(new IndexRequest(unit.getIndex()).source(JSON.toJSONString(t), XContentType.JSON))));
        try {
            restHighLevelClient.bulk(request, RequestOptions.DEFAULT);
        } catch (Exception e) {
            return new ResultResponse(ResultCode.SUCCESS.getCode(), ResultCode.SUCCESS.getMsg(), "ERROR");
        }
        return new ResultResponse(ResultCode.SUCCESS.getCode(), ResultCode.SUCCESS.getMsg(), "OK");
    }

    /**
     * 删除文档
     * author: wanglongfei
     * @param unit:删除信息
     * @return
     */
    @ApiOperation(value = "删除文档", response = ResultResponse.class)
    @PostMapping(value = "/deleteDocument", produces = {"application/json"})
    public ResultResponse deleteDocument(
            @ApiParam(value = "删除信息", required = true) @RequestBody ElasticsearchUnit unit
    ) {
        if (unit == null) {
            throw new ApiException("服务器错误");
        }
        if (unit.getIndex() == null || "".equals(unit.getIndex())) {
            throw new ApiException("请输入正确的索引");
        }
        if (unit.getDocumentIds() == null || unit.getDocumentIds().size() <= 0) {
            throw new ApiException("文档为空");
        }
        // 批量操作
        BulkRequest request = new BulkRequest();
        unit.getDocumentIds().forEach((id -> request.add(new DeleteRequest(unit.getIndex(), id + ""))));
        try {
            restHighLevelClient.bulk(request, RequestOptions.DEFAULT);
        } catch (Exception e) {
            return new ResultResponse(ResultCode.SUCCESS.getCode(), ResultCode.SUCCESS.getMsg(), "ERROR");
        }
        return new ResultResponse(ResultCode.SUCCESS.getCode(), ResultCode.SUCCESS.getMsg(), "OK");
    }

    /**
     * 根据文档id获取文档内容
     * author: wanglongfei
     * @param index：索引
     * @param documentId：文档id
     * @return
     */
    @ApiOperation(value = "根据文档id获取文档内容", response = ResultResponse.class)
    @GetMapping(value = "/getByDocumentId", produces = {"application/json"})
    public ResultResponse getByDocumentId(
            @ApiParam(value = "索引", required = true) String index,
            @ApiParam(value = "文档id", required = true) String documentId
    ) {
        log.info("index:" + index + " ==== documentId:" + documentId);
        ResultResponse response = new ResultResponse(ResultCode.SUCCESS.getCode(), ResultCode.SUCCESS.getMsg());
        GetRequest getRequest = new GetRequest(index, documentId);
        try {
            GetResponse getResponse = restHighLevelClient.get(getRequest, RequestOptions.DEFAULT);
            response.setData(getResponse.getSource());
        } catch (Exception e) {
            return new ResultResponse(ResultCode.NETWORK_ERROR.getCode(), ResultCode.NETWORK_ERROR.getMsg(), "ERROR");
        }
        return response;
    }

    /**
     * 根据关键字获取文档
     * author: wanglongfei
     * @param query：查询条件
     * @return
     */
    @ApiOperation(value = "根据关键字获取文档", response = ResultResponse.class)
    @PostMapping(value = "/retrievalDocuments", produces = {"application/json"})
    public ResultResponse retrievalDocuments(
            @RequestBody ElasticsearchQuery query
    ) {
        log.info("index:" + query.getIndex() + " ==== documentId:" + query.getKeyword());
        ResultResponse response = new ResultResponse(ResultCode.SUCCESS.getCode(), ResultCode.SUCCESS.getMsg());

        SearchRequest searchRequest = new SearchRequest(query.getIndex());

        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

        // 其他查询条件
        searchSourceBuilder.from((query.getPageNum() - 1) * query.getPageSize()); // 从page开始
        searchSourceBuilder.size(query.getPageSize()); // 查询pageSize条数据
        searchSourceBuilder.timeout(new TimeValue(60 , TimeUnit.MINUTES)); // 设置超时时间
        searchRequest.source(searchSourceBuilder);

        try {
            PageInfo<Map<String , Object>> pageInfo = new PageInfo<>();
            SearchResponse search = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
            List<Map<String , Object>> list = new ArrayList<>();
            SearchHit[] hits = search.getHits().getHits();
            for (SearchHit hit : hits) {
                Map<String, Object> map = hit.getSourceAsMap();
                map.put("documentId", hit.getId());
                list.add(map);
            }
            pageInfo.setList(list);
            pageInfo.setTotal(hits.length);
            pageInfo.setPageNum(query.getPageNum());
            pageInfo.setPageSize(query.getPageSize());
            response.setData(pageInfo);
        } catch (Exception e) {
            return new ResultResponse(ResultCode.NETWORK_ERROR.getCode(), ResultCode.NETWORK_ERROR.getMsg(), "ERROR");
        }
        return response;
    }
}

ElasticsearchUnit

package com.keyrus.commonutils.util;

import io.swagger.annotations.ApiModel;
import io.swagger.annotations.ApiModelProperty;
import lombok.Getter;
import lombok.Setter;

import java.util.List;

@ApiModel(value = "elasticsearch")
@Getter
@Setter
public class ElasticsearchUnit<T> {

    @ApiModelProperty(value = "索引")
    private String index;

    @ApiModelProperty(value = "文档id")
    private List<String> documentIds;

    @ApiModelProperty(value = "文档集合")
    private List<T> list;
}

ElasticsearchQuery

package com.keyrus.commonutils.util;

import io.swagger.annotations.ApiModel;
import io.swagger.annotations.ApiModelProperty;
import lombok.Getter;
import lombok.Setter;

@ApiModel(value = "elasticsearch查询条件")
@Getter
@Setter
public class ElasticsearchQuery {

    @ApiModelProperty(value = "pageNum")
    private Integer pageNum;

    @ApiModelProperty(value = "pageSize")
    private Integer pageSize;

    @ApiModelProperty(value = "索引")
    private String index;

    @ApiModelProperty(value = "搜索关键字")
    private String keyword;
}

pagehelper

com.github.pagehelper
这个是github上的分页插件，可以自己封装一个分页通用实体类来替换(pageNum、pageSize、total三个字段)

maven

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
默~忆
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
elasticsearch通用工具类
weixin_45985053的博客
07-19 3028
本文中使用到的elasticsearch版本6.7，但实际上也支持es7.x以上版本，因为主要是对springboot提供的ElasticsearchRestTemplate提供的API做的二次封装。外部业务模块可引入es-apijarmaven依赖，由Jar提供的入口，通过httpClient或feign调用(springcloud分布式项目)到es-server服务上的es工具类，得到需要的数据。可通过must嵌套一层解决。这几天写了一个关于es的工具类，主要封装了业务中常用es的常用方法。...
SpringBoot Elasticsearch工具类封装
专注基础架构领域
06-19 7024
最近项目需要封装Elasticsearch工具类，特此记录便于日后查阅。 1、maven依赖 <dependency> <groupId>org.elasticsearch.plugin</groupId> <artifactId>transport-netty4-client</artifactId> &l...
ES操作通用类
qq_37722992的博客
06-08 811
ES模板
Elasticsearch使用工具类
02-14
Elasticsearch使用工具类，包括查询数据（默认查询和返回全部命中数据）；更新、删除、创建数据
elasticSearch相关配置类工具类
野的博客
06-05 1554
基本配置： @Configuration public class RestConfig { @Bean public RestClient getClient() throws KeyStoreException, NoSuchAlgorithmException, KeyManagementException { // 如果有多个从节点可以持续在内部new多个H...
elasticsearch 默认索引类型
寄情于码
09-11 4162
项目中需要支持索引插入新字段，字段可以进行查询和聚合，测试时发现默认的索引字段是做聚合的。 在ES的官方文档中找到dynamic-templates功能，可以增加默认索引类型 地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/dynamic-templates.html kibana测试URL： GET m
elasticsearch 嵌入式_Elasticsearch 开箱指南
weixin_35511284的博客
01-04 140
内容概要ES 基础介绍，重点是其中的核心概念。基础 API 实践操作。1. 基础介绍Elasticsearch (ES) 是一个数据库，提供了分布式的、准实时搜索和分析。基于 Apache Lucene，可以操作结构化数据、非结构化数据、数字类型数据、地理空间数据。数据存储使用松散结构的 JSON 文档。主要特性轻量快速的全文搜索。安全分析和基础设施监控。支持海量规模，数千台服务器、PB级数据量。...
C# ES通用类demo
03-01
Nest提供了一种类型安全的方式，使开发者可以使用C#对象直接映射到Elasticsearch的索引文档。 4. **通用类设计**：在"C# ES通用类demo"中，开发者可能创建了一个名为`ESCommon`的类，这个类包含了一系列静态方法，...
elasticsearch5.6以上version通用java API
03-18
在"elasticsearch5.6以上version通用java API"中，我们将会探讨如何利用Java编写工具类，以覆盖更全面的操作，如映射创建、批量插入、聚合查询以及模糊和精确查询。 1. **映射创建**：Elasticsearch的映射（Mapping...
es head操作说明文档1
08-08
在 Elasticsearch 中，`PUT` 方法用于创建新文档或更新已有文档，`POST` 用于在已有文档基础上增加数据，`DELETE` 用于删除文档，而 `GET` 则用于检索文档。每个操作都需要指定完整的索引路径，包括索引名、类型和...
基于ElasticSearch+RestHighLevelClient+SpringBoot搭建的通用搜索系统
06-14
基于ElasticSearch7.3.2、RestHighLevelClient、SpringBoot搭建的通用搜索系统脚手架，帮助开发者快速搭建搜索系统 简介 基于ElasticSearch7.3.2版本的通用搜索系统 使用rest-high-level-client操作ES 封装常用api...
es2csv：从Elasticsearch导出到CSV文件
01-30
`es2csv`是一个非常实用的工具，主要用于将数据从Elasticsearch索引导出到CSV格式的文件中。这个工具通常由Python编写，适用于那些需要对存储在Elasticsearch中的大量数据进行离线分析或者迁移至其他系统的情况。它...
ElasticSearch通用工具类
zhangshengqiang168的博客
03-22 2122
1.pom文件 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.1.1</version> </...
Elasticsearch索引与文档
抽象的螺旋
04-25 3019
概述 在Elasticsearch中，索引和文档是REST接口操作的最基本资源。索引一般是以索引名称出现在REST请求操作的资源路径上，而文档则是以文档ID为标识出现在资源路径中。除了这两种资源，映射类型_doc也可以认为是一种资源。但在Elasticsearch 7 废除映射类型的大背景下，_doc已经越来越接近于一种接口名称。与_doc类似的还要_alias、_settings、_update等，它们虽然也会出现在REST请求的路径上，但并不是一种实际的资源。在学习时可以把它们当做是REST操作的一种虚
ElasticSearch基础1——索引和文档。Kibana,RestClient操作索引和文档+黑马旅游ES库导入
vincewm的博客
09-12 4705
概念、ik分词器、倒排索引、索引和文档的增删改查、RestClient对索引和文档的增删改查
Elasticsearch基本操作：索引、文档、搜索
pan_junbiao的博客
05-10 3767
1、索引 在Elasticsearch 中开始为数据建立索引之前要做的第一步操作是创建——我们的数据主要容器。这里的索引类似于 SQL 中的数据库概念。它是类型（相当于 SQL 中的表）和文档（相当于 SQL 中的记录）的容器。 存储数据的行为叫作索引。在Elasticsearch 中，文档会归属于一种类型，这些类型会存在于索引中。 Elasticsearch 集群和数据库中核心概念的对应关系如下： Elasticsearch 集群 关系型数据库 索引 数据库 类型 表..
elasticsearch索引数据的过程
ok0011的博客
08-29 5621
（一）索引相关主要配置参数： action.auto_create_index index.mapper.dynamic index.number_of_shards index.number_of_replicas index.store.throttle.type index.store.throttle.max_bytes_per_sec index.queries.cache...
ES增删改查入门1
weixin_30809173的博客
08-03 326
1、RESTful接口使用方法 为了方便直观我们使用Head插件提供的接口进行演示，实际上内部调用的RESTful接口。 RESTful接口URL的格式： http://localhost:9200/index/type/[id] 其中index、type是必须提供的。 id是可选的，不提供es会自动生成。 index、type将信息进行分层，利于管理。 in...
Elasticsearch基础（三）
最新发布
weixin_68441705的博客
07-17 994
查询的DSL是一个大的JSON对象，包含下列属性：query：查询条件from和size：分页条件sort：排序条件highlight：高亮条件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值