Elasticsearch7.x（一）——lucene的详细介绍和使用

最新推荐文章于 2022-10-19 09:49:39 发布
最新推荐文章于 2022-10-19 09:49:39 发布
阅读量1.4k 收藏 5
点赞数 1
分类专栏： elasticsearch 文章标签： elasticsearch lucene java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36488175/article/details/110858879
版权

文章目录

前言

前段时间由于工作需要，用到ES做数据索引框架，便学习了一阵子。最近想想忘得也差不多了，于是便决定写下文章帮助自己复习一下~

讲Elasticsearch分布式检索框架前，我们先重点学习一下elasticsearch中的核心——lucene框架。

一、搜索是什么？

简单来说，就是通过关键词，去搜索位置的数据源，得到自己想要的相关信息

普通搜索

比如：
        程序猿老王，掏出自己一堆银行卡和数十把钥匙，来到相亲大会。这个不速之客，立马引来一堆妹纸簇拥而上。
        但是，面对这么多的妹纸，老王慌了（他必须选出最满意的那个姑娘~）。
        如何在一群姑娘们的信息里，找到自己想要的那个呢？
        于是老王根据肤白貌美大长腿，对手里的妹纸信息筛选，淘汰一批。然后越发膨胀，身高低于170不要，结果就剩几张了。最后选择了年龄最小的那个妹纸，刚拉上小手，该死的闹钟响了~

上面的搜索其实就是遍历所有信息后，做匹配查询

非普通搜索

      生活中很多场景下，我们搜索的对象并非都是关系型结构化的信息。我们无法像数据库模糊查询那样模糊匹配，跟不能遍历所有内容做匹配，毕竟查询是为快速找到想要的信息。

举个栗子：

我们在百度中搜索关键字，结果出现内容却是来自不同网站，不同内容体的结果,并标红显示关键词。
而且还有更重要的一点就是 非常非常的快~

那么问题来了，网上的数据各式各样并非结构化的，而面对这样的业务查询，请问该如何匹配呢？

显然不可能一片一片的内容做全局字符匹配吧~

想知道，就接者看下去吧~

倒排索引

      上面说到，我们无法根据常见的搜索，快速匹配到不同的文档，并显示出来。那么接下来，我们提供一个新的实现思路来解决这个问题。

举个栗子：

原文档：

doc1：小明说他看见他的女朋友了
doc2：纳尼~他哪里来的女朋友？
doc3：在梦里~
doc4：哦，那没事了

文档分词

ID文档内容分词
1doc1小明说他看见他的女朋友了[小明、看见、女朋友]
2doc2纳尼~他哪里来的女朋友？[纳尼、哪里、女朋友]
3doc3在梦里看见的~[梦里、看见]
4doc4哦，那没事了[没事]

建立倒排索引

关键词ID
小明1
看见1，3
女朋友1 ，2
纳尼2
哪里2
梦里3
没事3

比较分析

  • 建立完毕后，我再来分析下这种方式的查询实现。

假设：现在需求是搜索“女朋友”

普通方式：

  • 遍历四个文档，分别对文档中的内容进行关键词匹配。如果匹配上了，就输出。

倒排索引：

  • 根据关键词，搜索建立好的索引库。我们可以直接拿到“女朋友”出现在文档1和文档2中。于是我们直接去文档1和2 ，找到有这个关键字的部分。

显然倒排的方式要明显优于普通的方式。

二、Lucene介绍

什么是lucene

什么是全文检索

luncene 通过对文档内容，全部进行分词，并对单词建立倒排索引的过程。

工作流程

下面这幅图来自《Lucene in action》，但却不仅仅描述了Lucene的检索过程，而是描述了全文检索的一般过程。

在这里插入图片描述
根据上图显示可知：

  1. 各种数据源的数据（结构的或非结构的），创建索引文档
  2. 通过分词、倒排索引创建索引，存入索引库中。
  3. 用户查询，通过查询索引，找到文档，进而找到数据源信息。

部分组成介绍

1. Field

 //1 创建文档对象
 Document document1 = new Document();
 // 创建并添加字段信息。参数：字段的名称、字段的值、是否存储，这里选Store.YES代表存储到文档列表。Store.NO代表不存储
 document1.add(new StringField("id", "1", Field.Store.YES));
  • Document文档中有很多字段组成，每个字段就是一个Field，且有不同的类型。
  • 子类: DoubleField、FloatField、IntField、LongField、StringField、TextField等
  • TextField即创建索引，又会被分词。
  • StringField会创建索引，但是不会被分词。
  • StoreField一定会被存储，但是一定不创建索引。

2. Directory

//2 索引目录类,指定索引在硬盘中的位置
Directory directory = FSDirectory.open(new File("D:\\work\\index"));
  • 索引存储的地方
  • 子类：FSDirectory 和 RAMDirectory两种
  • FSDirectory ：文件系统目录，会把索引库指向本地磁盘。速度慢，但是数据安全，程序挂了索引不会消息。
  • RAMDirectory：内存目录，会把索引库保存在内存。索引数据没有持久化，挂死后，数据丢失。

3. Analyzer

//3 创建分词器对象--使用IK分词器
Analyzer analyzer = new IKAnalyzer();
  • 分词解析器，给文档数据分词使用
  • 默认的分词，只能对英文进行分词，无法分词中文。
  • 我们使用的IK分词器

三、基本使用

1 添加依赖

        <!-- lucene核心库 -->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>4.10.2</version>
        </dependency>
        <!-- Lucene的查询解析器 -->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-queryparser</artifactId>
            <version>4.10.2</version>
        </dependency>
        <!-- lucene的默认分词器库 -->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-common</artifactId>
            <version>4.10.2</version>
        </dependency>
        <!-- lucene的高亮显示 -->
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-highlighter</artifactId>
            <version>4.10.2</version>
        </dependency>
        <!--中文分词器-->
        <dependency>
            <groupId>com.janeluo</groupId>
            <artifactId>ikanalyzer</artifactId>
            <version>2012_u6</version>
        </dependency>

2. 创建索引

创建索引的流程

  1. 创建文档对象
  2. 指定索引存放目录
  3. 创建分词对象
  4. 索引写出配置
  5. 创建索引的写出工具类
  6. 添加文档到索引类里
  7. 提交
  8. 关闭

结合代码理解一下流程~

// 创建索引
    @Test
    public void testCreateIndex() throws Exception{
        // 创建文档的集合
        Collection<Document> docs = new ArrayList<>();
        //1 创建文档对象
        Document document1 = new Document();
        // 创建并添加字段信息。参数：字段的名称、字段的值、是否存储，这里选Store.YES代表存储到文档列表。Store.NO代表不存储
        document1.add(new StringField("id", "1", Field.Store.YES));
        // 这里我们title字段需要用TextField，即创建索引又会被分词。StringField会创建索引，但是不会被分词
        document1.add(new TextField("title", "小明说他看见他的女朋友了", Field.Store.YES));
        docs.add(document1);
        Document document2 = new Document();
        document2.add(new StringField("id", "1", Field.Store.YES));
        document2.add(new TextField("title", "纳尼~他哪里来的女朋友？", Field.Store.YES));
        docs.add(document2);
        Document document3 = new Document();
        document3.add(new StringField("id", "1", Field.Store.YES));
        document3.add(new TextField("title", "在梦里看到的~", Field.Store.YES));
        docs.add(document3);
        Document document4 = new Document();
        document4.add(new StringField("id", "1", Field.Store.YES));
        document4.add(new TextField("title", "哦，那没事了", Field.Store.YES));
        docs.add(document4);



        //2 索引目录类,指定索引在硬盘中的位置
        Directory directory = FSDirectory.open(new File("D:\\work\\index"));
        //3 创建分词器对象--使用IK分词器
        Analyzer analyzer = new IKAnalyzer();
        //4 索引写出工具的配置对象
        IndexWriterConfig conf = new IndexWriterConfig(Version.LATEST, analyzer);
        //设置每次索引都是重新创建---还有其他集中模式 append 追加
        conf.setOpenMode(IndexWriterConfig.OpenMode.CREATE);
        //5 创建索引的写出工具类。参数：索引的目录和配置信息
        IndexWriter indexWriter = new IndexWriter(directory, conf);

        //6 把文档交给IndexWriter
        indexWriter.addDocuments(docs);
        //7 提交
        indexWriter.commit();
        //8 关闭
        indexWriter.close();
    }

3.查询索引

3.1 流程

  1. 获取索引目录，建立对象
  2. 读取索引目录对象，建立索引读取工具
  3. 根据索引读取工具，创建索引搜索工具
  4. 最重要的，创建查询解析器
  5. 创建查询对象
  6. 根据查询对象，搜索数据
  7. 获取查询结果

3.2 测试代码

 @Test
    public void testIndexSearch() throws Exception {
        // 1.索引目录对象
        Directory directory = FSDirectory.open(new File("D:\\work\\index"));
        // 2.索引读取工具
        IndexReader reader = DirectoryReader.open(directory);
        // 3.索引搜索工具
        IndexSearcher searcher = new IndexSearcher(reader);

        // 4.创建查询解析器,两个参数：默认要查询的字段的名称，分词器
        QueryParser parser = new QueryParser("title", new IKAnalyzer());
        // 5.创建查询对象---女朋友
        Query query = parser.parse("女朋友");

        // 6.搜索数据,两个参数：查询条件对象要查询的最大结果条数
        // 返回的结果是 按照匹配度排名得分前N名的文档信息（包含查询到的总条数信息、所有符合条件的文档的编号信息）。
        TopDocs topDocs = searcher.search(query, 10);
        // 获取总条数
        System.out.println("本次搜索共找到" + topDocs.totalHits + "条数据");
        // 7.获取得分文档对象（ScoreDoc）数组.SocreDoc中包含：文档的编号、文档的得分
        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 取出文档编号
            int docID = scoreDoc.doc;
            // 根据编号去找文档
            Document doc = reader.document(docID);
            System.out.println("id: " + doc.get("id"));
            System.out.println("title: " + doc.get("title"));
            // 取出文档得分
            System.out.println("得分： " + scoreDoc.score);
        }
    }

3.3 扩展查询

方式一：通过QueryParser 解析关键字，得到查询对象（会使用分词）

        // 4.创建查询解析器,两个参数：默认要查询的字段的名称，分词器
        QueryParser parser = new QueryParser("title", new IKAnalyzer());
        // 5.创建查询对象---女朋友
        Query query = parser.parse("女朋友");

方式二：最小Trem单元查询（不可再分词。值必须是字符串！）

Query query = new TermQuery(new Term("title", "女朋友"));

方式三：匹配查询（ ? 可以代表任意一个字符 * 可以任意多个任意字符）

Query query = new WildcardQuery(new Term("title", "*朋*"));

方式四：错误匹配（允许查询的key有一定偏差，会帮你查询正确的结果。）

Query query = new FuzzyQuery(new Term("title","facevool"),1);

方式五: 数值范围查询（查询文档id 在2-4的结果）

// 数值范围查询对象，参数：字段名称，最小值、最大值、是否包含最小值、是否包含最大值
Query query = NumericRangeQuery.newLongRange("id", 2L, 4L, true, true);

方式六：组合查询（多个条件组合）

Query query1 = NumericRangeQuery.newLongRange("id", 1L, 3L, true, true);
Query query2 = NumericRangeQuery.newLongRange("id", 2L, 4L, true, true);
// 创建布尔查询的对象
BooleanQuery query = new BooleanQuery();
// 组合其它查询
//且：Occur.MUST
//或：Occur.SHOULD 
//非：Occur.MUST_NOT
query.add(query1, BooleanClause.Occur.MUST_NOT);
query.add(query2, BooleanClause.Occur.SHOULD);

4.修改索引

流程：

  1. 根据ID 查找到文档
  2. 删除要修改的ID 文档
  3. 添加此ID修改后的文档
  4. 生成索引

代码：

    @Test
    public void testUpdateIndex() throws Exception{
        // 创建目录对象
        Directory directory = FSDirectory.open(new File("D:\\work\\index"));
        // 创建配置对象
        IndexWriterConfig conf = new IndexWriterConfig(Version.LATEST, new IKAnalyzer());
        // 创建索引写出工具
        IndexWriter writer = new IndexWriter(directory, conf);

        // 创建新的文档数据
        Document doc = new Document();
        doc.add(new StringField("id","1", Field.Store.YES));
        doc.add(new TextField("title","我不信他会有女朋友~", Field.Store.YES));
        /* 修改索引。参数：
         * 	词条：根据这个词条匹配到的所有文档都会被修改
         * 	文档信息：要修改的新的文档数据
         */
        writer.updateDocument(new Term("id","1"), doc);
        // 提交
        writer.commit();
        // 关闭
        writer.close();
    }

注意事项：

  • Lucene修改功能底层会先删除，再把新的文档添加。
  • 修改功能会根据Term进行匹配，所有匹配到的都会被删除。这样不好
  • 因此，一般我们修改时，都会根据一个唯一不重复字段进行匹配修改。例如ID
  • 但是词条搜索，要求ID必须是字符串。如果不是，这个方法就不能用。
  • 如果ID是数值类型，我们不能直接去修改。可以先手动删除deleteDocuments(数值范围查询锁定ID)，再添加。

5.删除索引

删除方式：

  • 根据文档id找到文档，然后删除
  • 根据Term查询，把查询的结果删除
  • 删除所有

代码：

    @Test
    public void testDelete() throws Exception {
        // 创建目录对象
        Directory directory = FSDirectory.open(new File("D:\\work\\index"));
        // 创建配置对象
        IndexWriterConfig conf = new IndexWriterConfig(Version.LATEST, new IKAnalyzer());
        // 创建索引写出工具
        IndexWriter writer = new IndexWriter(directory, conf);

        // 根据词条进行删除
        //		writer.deleteDocuments(new Term("id", "1"));

        // 根据query对象删除,如果ID是数值类型，那么我们可以用数值范围查询锁定一个具体的ID
        //		Query query = NumericRangeQuery.newLongRange("id", 2L, 4L, true, true);
        //		writer.deleteDocuments(query);

        // 删除所有
        writer.deleteAll();
        // 提交
        writer.commit();
        // 关闭
        writer.close();
    }

6. 高亮显示：

 /**
     * 高亮显示
     */
    @Test
    public void testHighlighter() throws Exception {
        // 目录对象
        Directory directory = FSDirectory.open(new File("D:\\work\\index"));
        // 创建读取工具
        IndexReader reader = DirectoryReader.open(directory);
        // 创建搜索工具
        IndexSearcher searcher = new IndexSearcher(reader);

        QueryParser parser = new QueryParser("title", new IKAnalyzer());
        Query query = parser.parse("女朋友");

        // 格式化器
        Formatter formatter = new SimpleHTMLFormatter("<em>", "</em>");
        QueryScorer scorer = new QueryScorer(query);
        // 准备高亮工具
        Highlighter highlighter = new Highlighter(formatter, scorer);
        // 搜索
        TopDocs topDocs = searcher.search(query, 10);
        System.out.println("本次搜索共" + topDocs.totalHits + "条数据");

        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 获取文档编号
            int docID = scoreDoc.doc;
            Document doc = reader.document(docID);
            System.out.println("id: " + doc.get("id"));

            String title = doc.get("title");
            // 用高亮工具处理普通的查询结果,参数：分词器，要高亮的字段的名称，高亮字段的原始值
            String hTitle = highlighter.getBestFragment(new IKAnalyzer(), "title", title);

            System.out.println("title: " + hTitle);
            // 获取文档的得分
            System.out.println("得分：" + scoreDoc.score);
        }

    }

6.排序

/**
     * 排序
     * @throws Exception
     */
    @Test
    public void testSortQuery() throws Exception {
        // 目录对象
        Directory directory = FSDirectory.open(new File("D:\\work\\index"));
        // 创建读取工具
        IndexReader reader = DirectoryReader.open(directory);
        // 创建搜索工具
        IndexSearcher searcher = new IndexSearcher(reader);

        QueryParser parser = new QueryParser("title", new IKAnalyzer());
        Query query = parser.parse("女朋友");

        // 创建排序对象,需要排序字段SortField，参数：字段的名称、字段的类型、是否反转如果是false，升序。true降序
        Sort sort = new Sort(new SortField("id", SortField.Type.LONG, true));
        // 搜索
        TopDocs topDocs = searcher.search(query, 10,sort);
        System.out.println("本次搜索共" + topDocs.totalHits + "条数据");

        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 获取文档编号
            int docID = scoreDoc.doc;
            Document doc = reader.document(docID);
            System.out.println("id: " + doc.get("id"));
            System.out.println("title: " + doc.get("title"));
        }
    }

7.分页

    /**
     * 分页
     * @throws Exception
     */
    @Test
    public void testPageQuery() throws Exception {
        // 实际上Lucene本身不支持分页。因此我们需要自己进行逻辑分页。我们要准备分页参数：
        int pageSize = 1;// 每页条数
        int pageNum = 1;// 当前页码
        int start = (pageNum - 1) * pageSize;// 当前页的起始条数
        int end = start + pageSize;// 当前页的结束条数（不能包含）

        // 目录对象
        Directory directory = FSDirectory.open(new File("D:\\work\\index"));
        // 创建读取工具
        IndexReader reader = DirectoryReader.open(directory);
        // 创建搜索工具
        IndexSearcher searcher = new IndexSearcher(reader);

        QueryParser parser = new QueryParser("title", new IKAnalyzer());
        Query query = parser.parse("女朋友");

        // 创建排序对象,需要排序字段SortField，参数：字段的名称、字段的类型、是否反转如果是false，升序。true降序
        Sort sort = new Sort(new SortField("id", SortField.Type.LONG, false));
        // 搜索数据，查询0~end条
        TopDocs topDocs = searcher.search(query, end,sort);
        System.out.println("本次搜索共" + topDocs.totalHits + "条数据");

        ScoreDoc[] scoreDocs = topDocs.scoreDocs;
        for (int i = start; i < end; i++) {
            ScoreDoc scoreDoc = scoreDocs[i];
            // 获取文档编号
            int docID = scoreDoc.doc;
            Document doc = reader.document(docID);
            System.out.println("id: " + doc.get("id"));
            System.out.println("title: " + doc.get("title"));
        }
    }

8.得分算法

        Lucene会对搜索结果打分，用来表示文档数据与词条关联性的强弱，得分越高，表示查询的匹配度就越高，排名就越靠前！

打分公式有些复杂，这里我也没弄太明白。这里就不写了，待日后有时间沉下心来仔细研究一番。

有兴趣请参考另一方大佬写的博客：

https://www.cnblogs.com/forfuture1978/archive/2010/03/07/1680007.html

总结

本章主要内容：

  1. 理解倒排索引的实现
  2. 明白lucene的基本组成和工作流程
  3. 熟练使用lucene的方法 对索引操作
笑里笑外~
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearcho从入门到放弃:(一)简介, lucene,概念, 安装
浅弋、璃鱼的博客
03-31 1463
文章目录一、ElasticSeach简介1. 介绍2. ES可以做什么2.1 信息检索2.2 企业内部系统搜索2.3 数据分析引擎3. ES特点3.1 海量数据处理3.2 开箱即用3.3 作用传统数据库的补充4. ES对比solr:二、Lucene全文检索库1. 什么是全文检索1.1 结构化数据与非结构化数据1.2 搜索结构化数据和非结构化数据1.3 全文检索:2. Lucene简介三、ES的核心概念： 一、ElasticSeach简介 官方网站: https://www.elastic.co/cn/ela
Elasticsearch教程---Lucene简介（一）
jetty_welcome的博客
03-16 911
第一章 概述 Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据, 它不但稳定、可靠、快速，而且也具有良好的水平扩展能力，是专门为分布式环境设计的,它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，可以说Lucene是当今最先进...
掌握它才说明你真正懂Elasticsearch
qq_41052550的博客
05-08 650
Lucene 简介 Lucene 是一种高性能、可伸缩的信息搜索（IR）库，在 2000 年开源，最初由鼎鼎大名的 Doug Cutting 开发，是基于 Java 实现的高性能的开源项目。 Lucene 采用了基于倒排表的设计原理，可以非常高效地实现文本查找，在底层采用了分段的存储模式，使它在读写时几乎完全避免了锁的出现，大大提升了读写性能。 核心模块 Lucene 的写流程和读流...
全文检索及Lucene及elasticsearch详解
Ferao的博客
02-12 2196
一、什么是全文检索 数据的分类： 结构化数据 格式固定、长度固定、数据类型固定 例如：数据库中的数据 非结构化数据 格式不固定、长度不固定、数据类型不固定 例如：word文档、pdf文档、邮件、html、txt 数据的查询： 结构化数据的查询 sql语句。查询结构化数据的方法简单、速度快。 非结构化数据的查询 目测 使用程序把文档读取到内存中，然后匹配字符串，顺序扫描 把...
关于Lucene和ES全文搜索引擎的介绍和使用
qq_49195366的博客
10-19 3471
关于Lucene和ES全文搜索引擎的介绍和使用
Elasticsearch学习笔记（1）——Lucene简介
Let it go
10-26 808
Elasticsearch是一款优秀的全文索引产品。Elasticsearch基于Lucene构建索引和进行查询，理解Lucene的相关知识有助于更深入的学习和使用Elasticsearch。1. Lucene简介Lucene是一款成熟的、高性能的、可扩展的、轻量级的、功能强大的全文索引框架。关键概念其关键概念包括： Document：数据源，由Field组成。 Field：Document的组成部
最新版linux elasticsearch-7.13.3-linux-x86_64.tar.gz
07-10
Elasticsearch是一个开源的全文搜索引擎，它基于Lucene构建，被广泛用于实时数据分析、日志收集、全文检索等场景。这个最新的Linux版本——elasticsearch-7.13.3-linux-x86_64.tar.gz，是专为64位Linux系统设计的，...
elasticsearch中文文档——基于7.11.zip
最新发布
02-28
2. **实时性**：由于使用了Lucene库，Elasticsearch能实现实时索引和查询，新添加的文档几乎立即可搜索。 3. **分布式**：Elasticsearch设计为分布式系统，可以自动处理节点间的通信和数据分布，无需手动配置。 4....
elasticsearch-head-master.zip和node-v16.16.0-linux-x64.tar.xz
07-09
2022年7月9日下载的`elasticsearch-head-master.zip`是Elasticsearch的一个可视化插件——Head，它允许用户通过Web界面直观地查看和管理Elasticsearch集群。 **Elasticsearch Head 插件** `elasticsearch-head-...
ES同义词插件 elasticsearch-analysis-dynamic-synonym-6.5.1.rar
07-17
在IT领域，尤其是在搜索引擎优化和大数据分析中，Elasticsearch（ES）是一个广泛使用的开源全文检索引擎。它基于Lucene库，提供了分布式、实时、高可用性以及容错能力的数据存储和搜索解决方案。本篇文章将重点讲解...
Solr Elasticsearch lucene 搜索引擎
03-15
Solr Elasticsearch lucene 搜索引擎
ElasticSearch Head-0.1.5_0.zip
05-21
2. **索引(Index)**：类似于数据库中的表，是数据的逻辑存储单元，可以包含一个或多个类型（Type，Elasticsearch 7.x之后已移除）。 3. **文档(Document)**：索引中的基本单位，通常表示为JSON对象，每个文档都有...
Elasticsearch入门学习（三）：集群的搭建
weixin_30542079的博客
07-14 202
一、集群的一些概念 集群 一个集群cluster由一个或者多个节点组成，具有相同的cluster.name，协同工作，分项数据和负载。当有新的节点加入或者删除了一个节点时，集群回感知到并能够平衡数据。ElasticSearch中可以监控很多信息，有一个最重要的就是集群健康。集群健康有三个状态：green（所有主要分片和复制分片都可用），yellow（所有主要分片可用，但不是所有复制分片都可用），r...
ElasticSearch(ES) 7.x基础学习总结
lgb1997的博客
11-10 2098
Elasticsearch了解ElasticsearchElasticsearch 介绍Elasticsearch 倒排索引结构Elasticsearch 安装Elasticsearch-head安装安装node安装grunt安装es-head(7.6.1)IK分词器安装Kibana安装Elasticsearch DSLES基本数据类型索引操作文档操作Elasticsearch Java API 了解Elasticsearch Elasticsearch 介绍 Elasticsearch 是一个开源的搜索
Elasticsearch
qq_50313418的博客
09-24 2842
​简称ES，是基于构建的开源搜索引擎，是当前最流行的企业级搜索引擎。Lucene本身就可以被认为迄今为止性能最好的一款开源搜索引擎工具包，但是lucene的API相对复杂，需要深厚的搜索理论。很难集成到实际的应用中去。ES是采用java语言编写，提供了简单易用的RestFul API，开发者可以使用其简单的RestFul API，开发相关的搜索功能，从而避免lucene的复杂性。是一个针对的开源分析及可视化平台，使用Kibana可以查询、查看并与存储在ES索引的数据进行交互操作。
ElasticSearch查询流程详解
IT巅峰技术专栏
05-12 2213
一、前言 前面已经介绍了ElasticSearch的写入流程，了解了ElasticSearch写入时的分布式特性的相关原理。ElasticSearch作为一款具有强大搜索功能的存储引擎，它的读取是什么样的呢？读取相比写入简单得多，但是在使用过程中有哪些需要我们注意的呢？本篇文章会进行详细的分析。 在前面的文章我们已经知道ElasticSearch的读取分为两种GET和SEARCH。这两种操作是有一定的差异的，下面我们先对这两种核心的数据读取方式进行一一分析。 二、GET的流程 2.1 整体流程
Elasticsearch中数据是如何存储的——转自ES中文社区
RuiKe的博客
10-23 4008
前言 很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400GB，也可能多到6-7TB，为什么会造成这么大的差距呢？究其原因，我们来探究下Elasticsearch中的数据是如何存储。文章中我以Elasticsearch 2.3版本为示例，对应的lucene版本是5.5，
详解Elasticsearch和Lucene的底层数据的结构、多维度阐述ES查询快、FST的数据结构原理
Jack章臣的博客
03-11 5192
首先思考几个问题： 为什么ES的搜索功能是 近实时 的？ 为什么ES对文档的 CRUD (创建-读取-更新-删除) 操作是 实时 的? 一、ES与Lucene的内部结构 下面通过几张图，介绍ES与Lucene的内部结构。 图1，ES的集群 图2，ES的节点Node，一个Node相当于一个ES服务端。 图3，ElasticSearch的inde...
全文索引elasticsearch
mr-yhl的博客
11-06 1189
今日内容 全文检索 lucene实现全文索引 Elasticsearch Kibana 增删改查聚合 第一章 什么是全文检索1. 数据分类我们生活中的数据总体分为两种：结构化数据和非结构化数据。​ 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。​ 非结构化数据：指不定长或无固定格式的数据，如邮件，word 文档等磁盘上的文件 2...
ElasticSearch搜索引擎教程实战篇
09-19
ElasticSearch搜索引擎教程实战篇

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值