ES使用指南

最新推荐文章于 2023-08-16 22:25:12 发布
最新推荐文章于 2023-08-16 22:25:12 发布
阅读量348 收藏
点赞数
分类专栏： 知识随笔 文章标签： elasticsearch java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SOBE_rrr/article/details/130162692
版权 
配置文件设置:
config/elasticsearch.yml
修改内容:
cluster.name: nowcoder
path.data: D:\JavaProjectData\elasticsearch-6.4.3\data
path.logs: D:\JavaProjectData\elasticsearch-6.4.3\logs
此外配置文件application.properties中的spring.data.elasticsearch.cluster-name要和cluster.name对齐

查看集群健康状况
curl -X GET "localhost:9200/_cat/health?v"

查看结点占用量
curl -X GET "localhost:9200/_cat/nodes?v"

创建索引(名为test)
curl -X PUT "localhost:9200/test"

查询索引情况
curl -X GET "localhost:9200/_cat/indices?v"

删除索引
curl -X DELETE "localhost:9200/test"

剩下的都是postman中的操作

想实现中文分词 需要中文分词插件 在plugins下面创建一个ik文件夹 把ES-IK中文分词器解压在这里

创建es索引

 保存数据到es(id为2)

es查数据(id为2）

es删除数据(id为1)

 es搜索 可以在路径上拼 也可以直接在Body里面设置

修改实体类

package com.nowcoder.community.entity;

import org.springframework.data.annotation.Id;
import org.springframework.data.elasticsearch.annotations.Document;
import org.springframework.data.elasticsearch.annotations.Field;
import org.springframework.data.elasticsearch.annotations.FieldType;

import java.util.Date;

// 通过注解的方式进行配置 自动将实体数据和es上的类型数据进行映射
// indexName索引名称 type不用管就固定为_doc shards是分片 replicas是副本备份数量
@Document(indexName = "discusspost", type = "_doc", shards = 6, replicas = 3)
public class DiscussPost {

    @Id
    private int id;

    @Field(type = FieldType.Integer)
    private int userId;

    // analyzer是存储时的解析器(ik_max_word最大分词) searchAnalyzer是搜索时的解析器(ik_smart智能分词)
    @Field(type = FieldType.Text, analyzer = "ik_max_word", searchAnalyzer = "ik_smart")
    private String title;

    @Field(type = FieldType.Text, analyzer = "ik_max_word", searchAnalyzer = "ik_smart")
    private String content;

    @Field(type = FieldType.Integer)
    private int type; // type表示是否置顶

    @Field(type = FieldType.Integer)
    private int status;

    @Field(type = FieldType.Date)
    private Date createTime;

    @Field(type = FieldType.Integer)
    private int commentCount;

    @Field(type = FieldType.Double)
    private double score;

    public int getId() {
        return id;
    }

    public void setId(int id) {
        this.id = id;
    }

    public int getUserId() {
        return userId;
    }

    public void setUserId(int userId) {
        this.userId = userId;
    }

    public String getTitle() {
        return title;
    }

    public void setTitle(String title) {
        this.title = title;
    }

    public String getContent() {
        return content;
    }

    public void setContent(String content) {
        this.content = content;
    }

    public int getType() {
        return type;
    }

    public void setType(int type) {
        this.type = type;
    }

    public int getStatus() {
        return status;
    }

    public void setStatus(int status) {
        this.status = status;
    }

    public Date getCreateTime() {
        return createTime;
    }

    public void setCreateTime(Date createTime) {
        this.createTime = createTime;
    }

    public int getCommentCount() {
        return commentCount;
    }

    public void setCommentCount(int commentCount) {
        this.commentCount = commentCount;
    }

    public double getScore() {
        return score;
    }

    public void setScore(double score) {
        this.score = score;
    }

    @Override
    public String toString() {
        return "DiscussPost{" +
                "id=" + id +
                ", userId=" + userId +
                ", title='" + title + '\'' +
                ", content='" + content + '\'' +
                ", type=" + type +
                ", status=" + status +
                ", createTime=" + createTime +
                ", commentCount=" + commentCount +
                ", score=" + score +
                '}';
    }
}

测试代码

package com.nowcoder.community;

import com.nowcoder.community.dao.DiscussPostMapper;
import com.nowcoder.community.dao.elasticsearch.DiscussPostRepository;
import com.nowcoder.community.entity.DiscussPost;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightField;
import org.elasticsearch.search.sort.SortBuilders;
import org.elasticsearch.search.sort.SortOrder;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.data.domain.Page;
import org.springframework.data.domain.PageRequest;
import org.springframework.data.domain.Pageable;
import org.springframework.data.elasticsearch.core.ElasticsearchTemplate;
import org.springframework.data.elasticsearch.core.SearchResultMapper;
import org.springframework.data.elasticsearch.core.aggregation.AggregatedPage;
import org.springframework.data.elasticsearch.core.aggregation.impl.AggregatedPageImpl;
import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder;
import org.springframework.data.elasticsearch.core.query.SearchQuery;
import org.springframework.test.context.ContextConfiguration;
import org.springframework.test.context.junit4.SpringRunner;

import java.util.ArrayList;
import java.util.Date;
import java.util.List;

@RunWith(SpringRunner.class)
@SpringBootTest
@ContextConfiguration(classes = CommunityApplication.class)
public class ElasticsearchTests {

    @Autowired
    private DiscussPostMapper discussMapper;

    @Autowired
    private DiscussPostRepository discussRepository;

    @Autowired
    private ElasticsearchTemplate elasticTemplate;

    @Test
    public void testInsert() {
        // 程序执行时 会自动创建对应的索引 参见实体类中的注解(定义了索引名称为discusspost)
        discussRepository.save(discussMapper.selectDiscussPostById(241));
        discussRepository.save(discussMapper.selectDiscussPostById(242));
        discussRepository.save(discussMapper.selectDiscussPostById(243));
    }

    @Test
    public void testInsertList() {
        discussRepository.saveAll(discussMapper.selectDiscussPosts(101, 0, 100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(102, 0, 100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(103, 0, 100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(111, 0, 100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(112, 0, 100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(131, 0, 100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(132, 0, 100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(133, 0, 100));
        discussRepository.saveAll(discussMapper.selectDiscussPosts(134, 0, 100));
    }

    @Test
    public void testUpdate() {
        DiscussPost post = discussMapper.selectDiscussPostById(231);
        post.setContent("我是新人,使劲灌水.");
        discussRepository.save(post); //直接save 会覆盖之前的数据(因为实体类中定义了id id一样 修改相当于直接覆盖)
    }

    @Test
    public void testDelete() {
        // discussRepository.deleteById(231);
        discussRepository.deleteAll();
    }

    // 这种方法没办法返回高亮的结果 底层获取了高亮显示的值但是没有返回
    @Test
    public void testSearchByRepository() {
        SearchQuery searchQuery = new NativeSearchQueryBuilder()
                .withQuery(QueryBuilders.multiMatchQuery("互联网寒冬", "title", "content"))
                .withSort(SortBuilders.fieldSort("type").order(SortOrder.DESC)) // type表示是否置顶
                .withSort(SortBuilders.fieldSort("score").order(SortOrder.DESC)) // 表现分数高的排前面
                .withSort(SortBuilders.fieldSort("createTime").order(SortOrder.DESC)) // 新的帖子排前面
                .withPageable(PageRequest.of(0, 10))
                .withHighlightFields( // 对字段中匹配的词进行高亮显示
                        new HighlightBuilder.Field("title").preTags("<em>").postTags("</em>"),
                        new HighlightBuilder.Field("content").preTags("<em>").postTags("</em>")
                ).build();

        // elasticTemplate.queryForPage(searchQuery, class, SearchResultMapper)
        // 底层获取得到了高亮显示的值, 但是没有返回.

        Page<DiscussPost> page = discussRepository.search(searchQuery);
        System.out.println(page.getTotalElements());
        System.out.println(page.getTotalPages());
        System.out.println(page.getNumber());
        System.out.println(page.getSize());
        for (DiscussPost post : page) {
            System.out.println(post);
        }
    }

    @Test
    public void testSearchByTemplate() {
        SearchQuery searchQuery = new NativeSearchQueryBuilder()
                .withQuery(QueryBuilders.multiMatchQuery("互联网寒冬", "title", "content"))
                .withSort(SortBuilders.fieldSort("type").order(SortOrder.DESC))
                .withSort(SortBuilders.fieldSort("score").order(SortOrder.DESC))
                .withSort(SortBuilders.fieldSort("createTime").order(SortOrder.DESC))
                .withPageable(PageRequest.of(0, 10))
                .withHighlightFields(
                        new HighlightBuilder.Field("title").preTags("<em>").postTags("</em>"),
                        new HighlightBuilder.Field("content").preTags("<em>").postTags("</em>")
                ).build();

        Page<DiscussPost> page = elasticTemplate.queryForPage(searchQuery, DiscussPost.class, new SearchResultMapper() {
            // 先根据searchQuery去查询 得到的结果交给mapper来处理
            @Override
            public <T> AggregatedPage<T> mapResults(SearchResponse response, Class<T> aClass, Pageable pageable) {
                SearchHits hits = response.getHits(); // 返回命中的数据量
                if (hits.getTotalHits() <= 0) {
                    return null;
                }

                List<DiscussPost> list = new ArrayList<>();
                for (SearchHit hit : hits) {
                    DiscussPost post = new DiscussPost();

                    // 下面开始根据查询结果封装数据
                    String id = hit.getSourceAsMap().get("id").toString();
                    post.setId(Integer.valueOf(id));

                    String userId = hit.getSourceAsMap().get("userId").toString();
                    post.setUserId(Integer.valueOf(userId));

                    String title = hit.getSourceAsMap().get("title").toString();
                    post.setTitle(title);

                    String content = hit.getSourceAsMap().get("content").toString();
                    post.setContent(content);

                    String status = hit.getSourceAsMap().get("status").toString();
                    post.setStatus(Integer.valueOf(status));

                    String createTime = hit.getSourceAsMap().get("createTime").toString();
                    post.setCreateTime(new Date(Long.valueOf(createTime)));

                    String commentCount = hit.getSourceAsMap().get("commentCount").toString();
                    post.setCommentCount(Integer.valueOf(commentCount));

                    // 处理高亮显示的结果
                    HighlightField titleField = hit.getHighlightFields().get("title");
                    if (titleField != null) {
                        post.setTitle(titleField.getFragments()[0].toString());// Fragments是数组(需要高亮的内容及其前后文) 只取第一个
                        // 例:'<em>互联网</em>求职暖春计划' 互联网是第一个高亮元素 只返回它的部分前后文
                    }

                    HighlightField contentField = hit.getHighlightFields().get("content");
                    if (contentField != null) {
                        post.setContent(contentField.getFragments()[0].toString());
                    }

                    list.add(post);
                }

                return new AggregatedPageImpl(list, pageable,
                        hits.getTotalHits(), response.getAggregations(), response.getScrollId(), hits.getMaxScore());
            }
        });

        System.out.println(page.getTotalElements());
        System.out.println(page.getTotalPages());
        System.out.println(page.getNumber());
        System.out.println(page.getSize());
        for (DiscussPost post : page) {
            System.out.println(post);
        }
    }

}

另外避坑(NowCoder使用到的Redis和ES底层的Netty启动冲突)

package com.nowcoder.community;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

import javax.annotation.PostConstruct;

@SpringBootApplication
public class CommunityApplication {

	@PostConstruct
	public void init() {
		// 解决netty启动冲突问题 (es和redis都用到了netty)
		// see Netty4Utils.setAvailableProcessors()
		System.setProperty("es.set.netty.runtime.available.processors", "false");
	}

	public static void main(String[] args) {
		SpringApplication.run(CommunityApplication.class, args);
	}

}

Sort Arrays with sort
qq_37904977的博客
04-13 156
ElasticSearch的按日期排序问题
agoling的博客
03-01 3852
ElasticSearch的按日期排序问题，ES排序值相同顺序随机的问题
ES 查询关键字(match, term, range,terms)、组合多查询(must, should, must_not,filter)、分页、排序sort、高亮highlight
热门推荐
加州暖阳的博客
06-10 1万+
一、常用查询关键字 1. match 查询 match查询会将搜索词分词，再与目标查询字段进行匹配，若分词中的任意一个词与目标字段匹配上，则可查询到。 { "match": { "name": "南山" }} QueryBuilders.matchQuery("name", "南山") #java代码 2.match_phrase 默认使用 match_phrase 时会精确匹配查询的短语，需要全部单词和顺序要完全一样，标点符号除外。 {"qu
Spring Data Elasticsearch 的简单使用
最新发布
weixin_72388638的博客
08-16 2357
springData 操作ES类似于Mybatis-plus操作Mysql,都是简单易用。
el search 查询排序
jacke121的专栏
05-18 2656
sort 与query是同级的 来源：https://stackoverflow.com/questions/20974964/python-custom-scripting-in-elasticsearch ​ "sort": [ { "_score": { "order": "desc" } } ], "query": { "function_score": { ...
Elasticsearch权威指南(中文版)-.pdf
12-02
Elasticsearch 权威指南 Elasticsearch 是一个实时分布式搜索和分析引擎，它让你以前所未有的速度处理大数据成为可能。它用于全文搜索、结构化搜索、分析以及将这三者混合使用。 Elasticsearch 的优点在于将全文...
Elastic Search搭建使用教程.pdf（内含ElasticSearch教程权威指南）
06-05
Elasticsearch是一款基于Lucene的开源搜索引擎，它使用RESTful接口进行数据操作，数据以JSON格式存储。Elasticsearch以其高效的全文搜索功能，实时数据处理能力，以及易于使用的特性，在众多企业中得到了广泛应用，...
Elasticsearch权威指南(中文).pdf
12-28
**Elasticsearch权威指南概述** Elasticsearch是一个开源的全文搜索引擎，基于Lucene构建，设计用于分布式、实时的搜索和分析引擎。它不仅提供搜索功能，还支持数据分析、日志收集等多种用途。这本书《Elastic...
Elasticsearch权威指南高清中文版PDF
01-12
这份Elasticsearch权威指南中文版PDF，将帮助读者全面理解并掌握Elasticsearch的使用，无论你是初学者还是经验丰富的开发者，都能从中受益匪浅。通过学习和实践，你将能够利用Elasticsearch解决各种数据检索和分析...
es常见操作
陈如水的专栏
09-28 660
es常用api
Elasticsearch简介及SpringBoot整合ES实例
m0_67401153的博客
09-06 779
Elasticsearch 是一个开源的搜索引擎。建立在全文搜索引擎库 Apache Lucene 基础之上。它的内部使用 Lucene 做索引与搜索，但是它的目的是使全文检索变得简单，通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API。Elasticsearch 不仅仅只是一个全文搜索引擎。它可以被下面这样准确的形容：、一个分布式的实时文档存储，每个字段可以被索引与搜索——作数据库用一个分布式实时分析搜索引擎，能胜任上百个服务节点的扩展，并支持PB 级别的。
高级查询
Leon_Jinhai_Sun的博客
02-06 330
高级查询 基本查询 先看看基本玩法 @Test public void testQuery(){ // 词条查询 MatchQueryBuilder queryBuilder = QueryBuilders.matchQuery("title", "小米"); // 执行查询 Iterable<Item> items = this.itemRep...
Elasticsearch：对搜索结果排序 - Sort
Elastic 中国社区官方博客
06-29 7127
​ 我们知道在默认的情况下，搜索的结果是按照相关性来进行排序的。分数最高的排在前面，而分数低的向后依次排序。在绝大多数的情况下，这种排序是非常有效的，而且也适用我们的很多用例。即便针对分数，我们也可以对搜索的结果进行定制。关于这个分数是如何及算出来的，你可以参考我之前的文章 “Elasticsearch：使用 Elasticsearch 提高网站搜索查询的相关性”。我们也可以使用一下方法来定制我们的分数。你可以阅读如下的文章： ​.........
实战中关于elasticsearch中的查询方法--高级查询
m0_48444702的博客
06-13 4118
因为最近要从elasticsearch中获取数据给前端展示，然后自己摸索到了一些查询方法，记录一下，以防忘记只展示业务层的代码逻辑： 搜索条件方法： 分页和排序的方法： 这就是普通的查询办法。 例如要对整个elastcsearch中的数据进行统计分组和巧合的时候，上述的方法就不能满足要求了。例如要算出以下这种数据 第一列是求出最高级别，第二列是算出数量，第三和第四列是算出不同级别的数量。 为了应对这种需求，所以新的方法：因为用的多线程是线程池，所以要自己格外配置线程池。 三、批量修改....
从零开始—仿牛客网讨论社区项目（五）
罗密欧与猪过夜的博客
04-04 5439
仿牛客网讨论社区项目 Elasticsearch 分布式搜索引擎
ES基础查询
萝卜_7
03-18 1794
ES查询 QueryBuilders QueryBuilders是es中的查询条件构造器，用来生成一些QueryBuilder的查询类，如常用的TermQueryBuilder(精确匹配)、IdsQueryBuilder(根据ID查询)、BoolQueryBuilder(布尔查询)、MatchAllQueryBuilder(全匹配查询)、WildcardQueryBuilder(通配符查询)等等 QueryBuilders的部分代码如下： /** * A static factory for
项目理解（六）Elasticsearch倒排索引与搜索应用
liuzewei2015的博客
09-05 643
目录时序数据库倒排索引Elasticsearch简介Elasticsearch的应用实现搜索 时序数据库 最简单的定义就是数据格式里包含 timestamp 字段的数据。几乎所有的数据都可以打上一个 timestamp 字段。时间序列数据更重要的一个属性是如何去查询它。在查询的时候，对于时间序列我们总是会带上一个时间范围去过滤数据。同时查询的结果里也总是会包含 timestamp 字段。（系列...
es 过滤后排序排序_如何升级角度排序过滤器
08-15 815
es 过滤后排序排序 介绍 (Introduction) AngularJS, One of the most useful features of AngularJS’s initial offering was the ability to filter and sort data on the page using only template variables and filters. T...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值