ElasticSearch高级操作

最新推荐文章于 2024-03-17 22:28:08 发布
最新推荐文章于 2024-03-17 22:28:08 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： ElasticSearch 文章标签： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52851967/article/details/124337975
版权

1、bulk批量操作-脚本

脚本：

测试用的5号文档

POST /person1/_doc/5
{
  "name":"张三5号",
  "age":18,
  "address":"北京海淀区"
}

批量操作文本

#批量操作
#1.删除5号
#新增8号
#更新2号 name为2号
POST _bulk
{"delete":{"_index":"person1","_id":"5"}}
{"create":{"_index":"person1","_id":"8"}}
{"name":"八号","age":18,"address":"北京"}
{"update":{"_index":"person1","_id":"2"}}
{"doc":{"name":"2号"}} 

结果  

{
  "took" : 51,
  "errors" : true,
  "items" : [
    {
      "delete" : {
        "_index" : "person1",
        "_type" : "_doc",
        "_id" : "5",
        "_version" : 2,
        "result" : "deleted",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 6,
        "_primary_term" : 2,
        "status" : 200
      }
    },
    {
      "create" : {
        "_index" : "person1",
        "_type" : "_doc",
        "_id" : "8",
        "_version" : 1,
        "result" : "created",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 7,
        "_primary_term" : 2,
        "status" : 201
      }
    },
    {
      "update" : {
        "_index" : "person1",
        "_type" : "_doc",
        "_id" : "2",
        "_version" : 2,
        "result" : "updated",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 10,
        "_primary_term" : 2,
        "status" : 200
      }
    }
  ]
}
 

 

2、bulk批量操作-JavaAPI

/**
     *  Bulk 批量操作
     */
    @Test
    public void test2() throws IOException {

        //创建bulkrequest对象，整合所有操作
        BulkRequest bulkRequest =new BulkRequest();

           /*
        # 1. 删除5号记录
        # 2. 添加6号记录
        # 3. 修改3号记录 名称为 “三号”
         */
        //添加对应操作
        //1. 删除5号记录
        DeleteRequest deleteRequest=new DeleteRequest("person1","5");
        bulkRequest.add(deleteRequest);

        //2. 添加6号记录
        Map<String, Object> map=new HashMap<>();
        map.put("name","六号");
        IndexRequest indexRequest=new IndexRequest("person1").id("6").source(map);
        bulkRequest.add(indexRequest);
        //3. 修改3号记录 名称为 “三号”
        Map<String, Object> mapUpdate=new HashMap<>();
        mapUpdate.put("name","三号");
        UpdateRequest updateRequest=new UpdateRequest("person1","3").doc(mapUpdate);

        bulkRequest.add(updateRequest);
        //执行批量操作

        // client是注入的自定义对象，详情见下面代码

        BulkResponse response = client.bulk(bulkRequest, RequestOptions.DEFAULT);
        System.out.println(response.status());

    }

 

3、导入数据-分析

3.1、创建索引

PUT goods
{
    "mappings": {
        "properties": {
            "title": {
                "type": "text",
                "analyzer": "ik_smart"
            },
            "price": { 
                "type": "double"
            },
            "createTime": {
                "type": "date"
            },
            "categoryName": {    
                "type": "keyword"
            },
            "brandName": {    
                "type": "keyword"
            },
    
            "spec": {        
                "type": "object"
            },
            "saleNum": {    
                "type": "integer"
            },
            
            "stock": {    
                "type": "integer"
            }
        }
    }
}

3.2、代码实现

3.2.1、项目结构

注：数据库设计略 

 3.2.2、pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.1.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.itheima</groupId>
    <artifactId>elasticsearch-demo2</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>elasticsearch-demo2</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

        <!--引入es的坐标-->
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.4.0</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-client</artifactId>
            <version>7.4.0</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>7.4.0</version>
        </dependency>


        <!--mybatis-->
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>


        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.4</version>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

3.2.3、application.yml

elasticsearch:
  host: IP地址
  port: 9200


# datasource
spring:
  datasource:
    url: jdbc:mysql:///es?serverTimezone=UTC
    username: root
    password: root
    driver-class-name: com.mysql.cj.jdbc.Driver


# mybatis
mybatis:
  mapper-locations: classpath:mapper/*Mapper.xml # mapper映射文件路径
  type-aliases-package: com.itheima.elasticsearchdemo2.domain

3.2.4、ElasticSearchConfig.java

package com.itheima.elasticsearchdemo2.config;

import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
@ConfigurationProperties(prefix = "elasticsearch")
public class ElasticSearchConfig {
    private String host;
    private int port;

    public String getHost() {
        return host;
    }

    public void setHost(String host) {
        this.host = host;
    }

    public int getPort() {
        return port;
    }

    public void setPort(int port) {
        this.port = port;
    }

    @Bean
    public RestHighLevelClient client(){
        return new RestHighLevelClient(RestClient.builder(
                new HttpHost(
                        host,
                        port,
                        "http"
                )
        ));
    }
}

3.2.5、Goods.java

package com.itheima.elasticsearchdemo2.domain;

import com.alibaba.fastjson.annotation.JSONField;

import java.util.Date;
import java.util.Map;

public class Goods {

    private int id;
    private String title;
    private double price;
    private int stock;
    private int saleNum;
    private Date createTime;
    private String categoryName;
    private String brandName;
    private Map spec;

    @JSONField(serialize = false)//在转换JSON时，忽略该字段
    private String specStr;//接收数据库的信息 "{}"


    public int getId() {
        return id;
    }

    public void setId(int id) {
        this.id = id;
    }

    public String getTitle() {
        return title;
    }

    public void setTitle(String title) {
        this.title = title;
    }

    public double getPrice() {
        return price;
    }

    public void setPrice(double price) {
        this.price = price;
    }

    public int getStock() {
        return stock;
    }

    public void setStock(int stock) {
        this.stock = stock;
    }

    public int getSaleNum() {
        return saleNum;
    }

    public void setSaleNum(int saleNum) {
        this.saleNum = saleNum;
    }

    public Date getCreateTime() {
        return createTime;
    }

    public void setCreateTime(Date createTime) {
        this.createTime = createTime;
    }

    public String getCategoryName() {
        return categoryName;
    }

    public void setCategoryName(String categoryName) {
        this.categoryName = categoryName;
    }

    public String getBrandName() {
        return brandName;
    }

    public void setBrandName(String brandName) {
        this.brandName = brandName;
    }

    public Map getSpec() {
        return spec;
    }

    public void setSpec(Map spec) {
        this.spec = spec;
    }

    public String getSpecStr() {
        return specStr;
    }

    public void setSpecStr(String specStr) {
        this.specStr = specStr;
    }


    @Override
    public String toString() {
        return "Goods{" +
                "id=" + id +
                ", title='" + title + '\'' +
                ", price=" + price +
                ", stock=" + stock +
                ", saleNum=" + saleNum +
                ", createTime=" + createTime +
                ", categoryName='" + categoryName + '\'' +
                ", brandName='" + brandName + '\'' +
                ", spec=" + spec +
                ", specStr='" + specStr + '\'' +
                '}';
    }
}

3.2.6、GoodMapper.xml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">


<mapper namespace="com.itheima.elasticsearchdemo2.mapper.GoodsMapper">



    <select id="findAll" resultType="goods">
        select
              `id`         ,
              `title`       ,
              `price`       ,
              `stock`       ,
              `saleNum`     ,
              `createTime`  ,
              `categoryName`,
              `brandName`   ,
              `spec`  as specStr

         from goods


    </select>


</mapper>

3.2.7、GoodsMapper.java

package com.itheima.elasticsearchdemo2.mapper;

import com.itheima.elasticsearchdemo2.domain.Goods;
import org.apache.ibatis.annotations.Mapper;
import org.springframework.stereotype.Repository;

import java.util.List;

@Repository
@Mapper
public interface GoodsMapper {


    /**
     * 查询所有
     */
    public List<Goods> findAll();

}

3.2.8、SpringBoot启动类ElasticsearchDemo2Application.java

package com.itheima.elasticsearchdemo2;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class ElasticsearchDemo2Application {

    public static void main(String[] args) {
        SpringApplication.run(ElasticsearchDemo2Application.class, args);
    }

}

3.2.9、ElasticsearchDemo2ApplicationTests.java

package com.itheima.elasticsearchdemo2;

import com.alibaba.fastjson.JSON;
import com.itheima.elasticsearchdemo2.domain.Goods;
import com.itheima.elasticsearchdemo2.mapper.GoodsMapper;
import org.elasticsearch.action.DocWriteRequest;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.delete.DeleteRequest;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.text.Text;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.*;
import org.elasticsearch.rest.RestStatus;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.aggregations.Aggregation;
import org.elasticsearch.search.aggregations.AggregationBuilder;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.Aggregations;
import org.elasticsearch.search.aggregations.bucket.terms.Terms;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightField;
import org.elasticsearch.search.sort.SortOrder;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

@SpringBootTest
class ElasticsearchDemo2ApplicationTests {

    @Autowired
    private RestHighLevelClient client;

    @Autowired
    private GoodsMapper goodsMapper;

    /**
     * 从Mysql 批量导入 elasticSearch
     */
    @Test
    public void test3() throws IOException {
        //1.查询所有数据，mysql
        List<Goods> goodsList = goodsMapper.findAll();

        //2.bulk导入
        BulkRequest bulkRequest=new BulkRequest();

        //2.1 循环goodsList，创建IndexRequest添加数据
        for (Goods goods : goodsList) {

            //2.2 设置spec规格信息 Map的数据   specStr:{}
            String specStr = goods.getSpecStr();

            //将json格式字符串转为Map集合
            Map map = JSON.parseObject(specStr, Map.class);

            //设置spec map
            goods.setSpec(map);

            //将goods对象转换为json字符串
            String data = JSON.toJSONString(goods);

            IndexRequest indexRequest=new IndexRequest("goods").source(data,XContentType.JSON);
            bulkRequest.add(indexRequest);

        }


        BulkResponse response = client.bulk(bulkRequest, RequestOptions.DEFAULT);
        System.out.println(response.status());

    }
}

悠然予夏
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Elastic7.x语法版本操作手册
11-22
Elasticsearch 基础操作 2.1.1HTTP 操作 1）创建索引 2）查看所有索引 3）查看单个索引 4）删除索引 4）删除索引 2.1.1.2文档操作 1）创建文档 2）查看文档 3）修改文档 4）修改字段 5）删除文档 6）条件删除文档 2.1.1.3映射操作 2）查看映射 3）索引映射关联 2.1.1.4高级查询 2）匹配查询 3）字段匹配查询 4）关键字精确查询 5）多关键字精确查询 6）指定查询字段 7）过滤字段 8）组合查询 9）范围查询 10）模糊查询 11）单字段排序 12）多字段排序 13）高亮查询 14）分页查询 15）聚合查询 16）桶聚合查询 2.1.2Java API 操作 2.1.2.1创建 Maven 项目 2.1.2.2客户端对象 2.1.2.3索引操作 2）查看索引 3）删除索引 2.1.2.3索引操作 2）查看索引 3）删除索引 2.1.2.4文档操作 3）查询文档 4）删除文档 5）批量操作 2.1.2.5高级查询 1）请求体查询
elasticSearch查询语句DSL
06-27
在这篇资源中，我们将详细介绍如何使用DSL来构建复杂的查询语句，以满足各种搜索需求。首先，我们将学习DSL的基本结构和语法规则，包括查询、过滤器、聚合和排序等核心概念。通过深入了解DSL的语法，您将能够灵活地组合不同类型的查询条件，以实现精准的数据检索。接下来，我们将探讨DSL的高级特性和用法。我们将讨论全文搜索、模糊查询、正则表达式查询和范围查询等常用查询方式，以及它们在DSL中的具体实现。同时，我们还将介绍布尔查询、should查询和must_not查询等与逻辑关系相关的查询语句，帮助您更好地理解DSL的灵活性和强大之处。此外，我们还将深入讨论聚合操作在DSL中的应用。通过使用聚合查询，您可以对检索结果进行分组、统计和计算等操作，以获取更全面的数据分析结果。我们将详细介绍诸如terms聚合、date_histogram聚合和range聚合等不同类型的聚合操作，帮助您掌握DSL在数据分析方面的强大功能。最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势。我们将探讨性能优化、查询调试和索引优化等关键主题，以提升查询效率和搜索准确性。
ElasticSearch常见用法，看这一篇就够了
最新发布
学Java，找哪吒
03-17 6115
文末送3本《一本书讲透Elasticsearch：原理、进阶与工程实践》
delete 接口
一线大码
09-07 2159
文章目录DeleteRequest可选参数同步执行异步执行DeleteResponse 官方文档地址：Delete API DeleteRequest DeleteRequest有两个必需参数： DeleteRequest deleteRequest = new DeleteRequest( "posts", //索引 "1");//文档ID 可选参数 可以提供以下参数： //路由值 deleteRequest.routing("routing"); ////使用Tim
ElasticSearch
yh_124的博客
09-24 146
title: ElasticSearch categories: 进阶 tags: Java 简介 Elasticsearch是一个基于Lucene的搜索服务器，他提供了一个分布式全文搜索引擎，基于restful web接口。 Elasticsearch是用Java语言开发的，基于Apache协议的开源项目，是目前最受欢迎的企业搜索引擎。Elasticsearch广泛运用于云计算中，能够达到实时搜索，具有稳定，可靠，快速的特点。 安装 Elasticsearch，Kibana，IKAnalyzer.
Java-Elasticsearch的增删查以及所需配置
qk_ice_cream的博客
06-12 544
【代码】Java-Elasticsearch的增删查以及所需配置。
ElasticSearch的简单java Api
qq_29860591的博客
10-28 237
1． Java 简单api 1.1 es技术特点 1es技术比较特殊，不像其他分布式、大数据课程，haddop、spark、hbase。es代码层面很好写，难的是概念的理解。 2es最重要的是他的rest api。跨语言的。在真实生产中，探查数据、分析数据，使用rest更方便。 3本课程将会大量讲解内部原理及rest api。java代码会在重要的api后学习。 1.2 java 客户端...
ES BulkRequest 写入索引数据失败排查和解决
小杨互联网
08-18 5435
1，查看我们的索引mapping有没有问题，是不是索引的数据格式导致我们数据写入不进去，基本上百分之九十就是这个问题，但是我们的并不是。我们的日期格式在es是yyyymmdd hhmmss格式但是这里是个时间蹉格式，肯定就不对了，但是你会说我jsonfamart也不行吗？这样也不行，我序列化的时候tostring不行吗，答案是不行的，只有在序列化的时候转换一下。问题场景：1，使用BulkRequest写入索引数据不生效，接口正常返回，索引没有数据。这个错就很明显了我们的时间格式不对对不对，咋解决呢？...
ElasticSearch 学习
舒服了
08-24 189
Es简单教程
ElasticSearch入门之Bulk, Serach操作
zhouasdfgh9am的专栏
03-26 4294
批量索引和删除   Java代码   BulkRequestBuilder bulkRequest = client.prepareBulk(); for(int i=500;i<1000;i++){ //业务对象 String json = ESUtils.toJson(new
【es笔记七】Document APIs（下）
西瓜游侠的博客
12-07 977
2.2.6 Bulk API Bulk API用于提供批处理的功能。 注意： Java High Level REST Client提供了一个Bulk Processor（批处理对象）来帮助执行批处理，简化了Bulk API的操作。 下面先来了解一下Bulk API的内容。 2.2.6.1 Bulk Request 一个BulkRequest对象可以被用来在一次请求中执行批量的索引、更新、删除...
java操作应用实例源码与elasticsearch安装教程
01-10
本压缩包有elasticsearch-6.2.4.tar、elasticsearch-analysis-ik-6.2.4、kibana-6.2.4-windows-x86_64压缩包和详细的安装教程安装以及启动后错误的修改以及配置等，还包括结合java进行操作的源码及教程，
Elasticsearch 技术解析与实战.zip
07-25
前言 第1章 Elasticsearch入门 1 1.1 Elasticsearch是什么 1 1.1.1 Elasticsearch的历史 2 1.1.2 相关产品 3 1.2 全文搜索 3 1.2.1 Lucene介绍 4 1.2.2 Lucene倒排索引 4 1.3 基础知识 6 1.3.1 Elasticsearch术语及...
ElasticSearch5.2全网最全技术视频
05-26
（2）包含市面上几乎没有的所有Elasticsearch高级知识点：包含地理位置搜索与聚合分析，term vector，suggester search，搜索模板定制，query执行剖析，数十种最全面的聚合分析，span query，shard分配定制，es插件...
Elasticsearch基本使用初体验02
pikcacho_pkq的博客
01-22 1036
创建spring Boot工程，添加相关的依赖。
【ES系列九】——批量同步数据至ES
一直在奋起，一直在路上
03-31 4635
一、方案 1.通过es官网提供的bulk方法进行实现 2.将数据按照规则写入到json文件中，通过curl命令进行批量提交操作 注：如下实验es为集群，三台2c8g；mongodb为集群，三台2c16g；跑java程序的机器为2c4g 二、过程 1.1.通过es官网提供的bulk方法实现，代码如下 package com.yunshi.timedta...
Elasticsearch-BulkRequest和BulkProcessor简述
qq_17690301的博客
06-05 8011
BulkRequest和BulkProcessor都可以用来批量处理请求，但二者的使用流程和设计理念有所不同 BulkRequest 主要使用流程 RestHighLevelClient restHighLevelClient = new RestHighLevelClient();//创建一个es客户端，用于执行请求 BulkRequest bulkRequest = new BulkRequest(); //创建一个批量请求 IndexRequest indexRequest1 = new Inde
ELK学习笔记
博客
09-06 132
ElasticSearch 安装搭建步骤见博客： https://blog.csdn.net/weixin_43887814/article/details/112474285 为什么ElasticSearch.yml是9200端口，但是项目中链接要配置9300？ 9200作为Http协议，主要用于外部通讯 9300作为Tcp协议，jar之间就是通过tcp协议通讯 ES集群之间是通过9300进行通讯 kibana链接elasticSearch配置9200 es主键？ es中默认将id作为主键，数据同步至_
Elasticsearch批处理
小黑王HK
10-17 608
翻译源
elasticsearch高级
09-14
Elasticsearch是一款功能强大的全文搜索引擎，它使用Lucene搜索库进行底层索引和搜索。在Elasticsearch中，可以使用elasticsearch-rest-high-level-client这个依赖来调用Elasticsearch的高级REST客户端API。这个API提供了许多高级查询技巧，可以帮助用户更准确、更高效地查询数据。通过使用布尔查询以及其他高级查询方式，你可以实现更复杂的查询操作。如果你想深入了解Elasticsearch的高级查询技巧，可以参考相关的教程和示例代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

悠然予夏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值