EleasticSearch

最新推荐文章于 2024-08-22 22:48:15 发布
最新推荐文章于 2024-08-22 22:48:15 发布
阅读量583 收藏
点赞数
分类专栏： Java 文章标签： elasticsearch java 可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44734751/article/details/105502128
版权

EleasticSearch

ELK是什么？

ELK=elasticsearch+Logstash+kibana
elasticsearch：后台分布式存储以及全文检索
logstash: 日志加工、“搬运工”
kibana：数据可视化展示。
ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。 三者相互配合，取长补短，共同完成分布式大数据处理工作。

注意 JDk最低1.8

官网下载最新EleasticSearch

区bin目录下双击EleasticSearch.bat启动 9200端口访问Web页面

在这里插入图片描述

安装可视化界面

head插件依赖于nodejs

下载node.jshttps://nodejs.org/en/

进入可视化文件head目录执行 npm install

npm install

安装完成之后

在这里插入图片描述

http://localhost:9100/ 可视化工具WEB页面

可视化工具访问ES 面临跨域问题 区修改配置文件

在这里插入图片描述

Kibana

https://www.elastic.co/cn/kibana

kibana版本要和ES版本一致 否则出错

解压后点击bin下的bat启动

kibana-Request Timeout after 30000ms故障解决

修改配置文件/etc/kibana/kibana.yml，将#去掉，然后将30000毫秒（也就是30s）更改成90000(90秒)，这个根据实际情况进行修改。修改完毕后，重启服务

打开5601

在这里插入图片描述

ES核心

面向文档 下面是数据库和ES对比

在这里插入图片描述

ES一个人就是集群 默认集群名字叫ES

倒排索引

ES使用倒排索引的结构作为底层结构，这种结构适用于全文搜索

Lucene倒排索引原理 　　Lucene是一个高性能的java全文检索工具包，它使用的是倒排文件索引结构。该结构及相应的生成算法如下： 　　0）设有两篇文章1和2 　　文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too. 　　文章2的内容为：He once lived in Shanghai. 取得关键词 　　1)由于lucene是基于关键词索引和查询的，首先我们要取得这两篇文章的关键词，通常我们需要如下处理措施 　　a.我们现在有的是文章内容，即一个字符串，我们先要找出字符串中的所有单词，即分词。英文单词由于用空格分隔，比较好处理。中文单词间是连在一起的需要特殊的分词处理。 　　b.文章中的”in”, “once” “too”等词没有什么实际意义，中文中的“的”“是”等字通常也无具体含义，这些不代表概念的词可以过滤掉 　　c.用户通常希望查“He”时能把含“he”，“HE”的文章也找出来，所以所有单词需要统一大小写。 　　d.用户通常希望查“live”时能把含“lives”，“lived”的文章也找出来，所以需要把“lives”，“lived”还原成“live” 　　e.文章中的标点符号通常不表示某种概念，也可以过滤掉 　　在lucene中以上措施由Analyzer类完成 　　经过上面处理后 　　文章1的所有关键词为：[tom] [live] [guangzhou] [i] [live] [guangzhou] 　　文章2的所有关键词为：[he] [live] [shanghai] 建立倒排索引 　　2) 有了关键词后，我们就可以建立倒排索引了。上面的对应关系是：“文章号”对“文章中所有关键词”。倒排索引把这个关系倒过来，变成：“关键词”对“拥有该关键词的所有文章号”。文章1，2经过倒排后变成 　　关键词 文章号 　　guangzhou 1 　　he 2 　　i 1 　　live 1,2 　　shanghai 2 　　tom 1 　　通常仅知道关键词在哪些文章中出现还不够，我们还需要知道关键词在文章中出现次数和出现的位置，通常有两种位置：a)字符位置，即记录该词是文章中第几个字符（优点是关键词亮显时定位快）；b)关键词位置，即记录该词是文章中第几个关键词（优点是节约索引空间、词组（phase）查询快），lucene中记录的就是这种位置。 　　加上“出现频率”和“出现位置”信息后，我们的索引结构变为： 　　关键词 文章号[出现频率] 出现位置 　　guangzhou 1[2] 3，6 　　he 2[1] 1 　　i 1[1] 4 　　live 1[2],2[1] 2，5，2 　　shanghai 2[1] 3 　　tom 1[1] 1 　　以live 这行为例我们说明一下该结构：live在文章1中出现了2次，文章2中出现了一次，它的出现位置为“2,5,2”这表示什么呢？我们需要结合文章号和出现频率来分析，文章1中出现了2次，那么“2,5”就表示live在文章1中出现的两个位置，文章2中出现了一次，剩下的“2”就表示live是文章2中第 2个关键字。 　　以上就是lucene索引结构中最核心的部分。我们注意到关键字是按字符顺序排列的（lucene没有使用B树结构），因此lucene可以用二元搜索算法快速定位关键词。

IK分词器

下载IK分词器 必须和ES版本一致 否则启动时秒退

https://github.com/medcl/elasticsearch-analysis-ik

把解压的目录放道ES的plugins目录下即可

重启所有服务

IK分词器有俩种算法：ik_smart最少切分 ik_max_word 最细力度切分

在这里插入图片描述

如果需要特殊指定一些词需要自己指定加入到分词字典中

如何自定义字典？

我们打开分词配置文件点开一个后缀为.dic的文件看
在这里插入图片描述

看完之后照猫画虎，那我们自己写一个文件

写完之后如何生效呢？
在这里插入图片描述

进入指定文件指定自己写的字典使其生效 改完重启

Restful风格

在这里插入图片描述

1建索引并插入数据(相当于建库)

注意 类型不建议使用了 以后键索引不要写类型 默认为_doc

put /索引名/类型/id
{"属性名" "属性值", "" ""}

在这里插入图片描述

2建库指定规则 给库中的字段指定类型 不插入数据

在这里插入图片描述

3获得规则和数据

GET /索引 就是获取表结构信息

GET /索引/类型/id 就是获取表中的数据

4删除 delete 索引 或delete/索引/id/ 删除数据

5修改 使用post _update

在这里插入图片描述

指定修改 某个字段

如果使用put修改 没覆盖的数据会变成空

搜索操作

所有搜索用get

搜索学生名字像王五的人

GET student/_doc/_search?q=name:王五

注意 这个名字类型如果是text就可以拆分 如果是keyword就不能拆分
在这里插入图片描述

权重大的就靠前

复杂搜索

在这里插入图片描述
在这里插入图片描述

分页

在这里插入图片描述

多条件查询

must 是俩个条件都满足 should 是满足任意一个
在这里插入图片描述

高亮显示

在这里插入图片描述

自动加了em 如何更改呢

在这里插入图片描述

SpringBoot整合ES

在这里插入图片描述

我们使用7.6.2版本的ES springboot默认使用6.8.7版本 肯定连不上

找到父项目的maven依赖 看到是6.8.2 在自己项目的properties下更改

在这里插入图片描述

向IOC注入自己的bean

@Bean
public RestHighLevelClient highLevelClient(){
    RestHighLevelClient restHighLevelClient = new RestHighLevelClient(RestClient.builder(new HttpHost("127.0.0.1",9200,"http")));
    return restHighLevelClient;
}

测试

对索引增删查操作

对文档操作

把对象传输 就要转成json 所以引入json模块

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.62</version>
</dependency>

package com.atguigu.lijiawei;

import com.alibaba.fastjson.JSON;
import com.atguigu.lijiawei.pojo.User;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.delete.DeleteRequest;
import org.elasticsearch.action.get.GetRequest;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.support.master.AcknowledgedResponse;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.client.Client;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.CreateIndexRequest;
import org.elasticsearch.client.indices.CreateIndexResponse;
import org.elasticsearch.client.indices.GetIndexRequest;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.MatchAllQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.TermQueryBuilder;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.test.context.SpringBootTest;

import javax.naming.directory.SearchResult;
import java.io.IOException;
import java.util.Map;

@SpringBootTest
class LijiaweiApplicationTests {
    @Autowired
    @Qualifier("highLevelClient")
    private RestHighLevelClient client;
    @Test
    void contextLoads() throws IOException {
        //创建索引请求
        CreateIndexRequest createIndexRequest = new CreateIndexRequest("student");
        //执行
        CreateIndexResponse createIndexResponse = client.indices().create(createIndexRequest, RequestOptions.DEFAULT);
        System.out.println(createIndexResponse);

    }
    @Test
    void contextLoads1() throws IOException {
        //测试获取索引
        GetIndexRequest Index = new GetIndexRequest("李嘉伟1");
        boolean exists = client.indices().exists(Index, RequestOptions.DEFAULT);
        System.out.println(exists);
    }

    @Test
    void contextLoads2() throws IOException {
        //测试删除索引
        DeleteIndexRequest deleteIndexRequest = new DeleteIndexRequest("李嘉伟");
        AcknowledgedResponse delete = client.indices().delete(deleteIndexRequest, RequestOptions.DEFAULT);
        System.out.println(delete);
    }


    @Test
    void contextLoads3() throws IOException {
        //测试添加文档
        User u = new User("李嘉伟2",28);
       //创建请求
        IndexRequest request = new IndexRequest("student");
        //指定规则
        request.id("1");
        //放入数据 对象无法直接传输 变成json
        IndexRequest source = request.source(JSON.toJSONString(u), XContentType.JSON);
        //发送请求
        client.index(request,RequestOptions.DEFAULT);

    }

    @Test
    void contextLoads4() throws IOException {
        //测试获取文档
        //创建请求
        GetRequest getRequest = new GetRequest("student","2");
        GetResponse getResponse = client.get(getRequest, RequestOptions.DEFAULT);
        Map<String, Object> source = getResponse.getSource();
        System.out.println(source);
    }
    @Test
    void contextLoads5() throws IOException {
        //测试更新文档
        //创建请求
        UpdateRequest updateRequest = new UpdateRequest("student", "1");
        User user = new User("李嘉伟", 15);
        UpdateRequest doc = updateRequest.doc(JSON.toJSONString(user), XContentType.JSON);
        client.update(doc, RequestOptions.DEFAULT);

    }

    @Test
    void contextLoads6() throws IOException {
        //测试更新文档
        //创建请求
        DeleteRequest deleteRequest = new DeleteRequest("student", "1");
        client.delete(deleteRequest, RequestOptions.DEFAULT);

    }
    @Test
    void contextLoads7() throws IOException {
        //搜索
        //创建请求
        SearchRequest searchRequest = new SearchRequest("student");
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

        //指定查询模式 比如匹配全部
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", "李嘉伟");
        searchSourceBuilder.query(termQueryBuilder);
        searchRequest.source(searchSourceBuilder);
        SearchResponse search = client.search(searchRequest, RequestOptions.DEFAULT);
        for (SearchHit hit : search.getHits().getHits()) {
            System.out.println(hit.getSourceAsMap());

        }
    }

}
EleasticSearch快速入门
black210的博客
04-04 1353
1.概述 1.1. ElasticSearch 什么是 ElasticSearch ？ Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。es 也使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的 RESTful...
Elasticsearch基本概念
chwensrong的博客
03-09 4万+
本文主要是对ES基本概念进行整合，理论先行，夯实对ES的基本概念，在知道“是什么”，才能提高学习效率，保姆级学习教程请移步： ES入门笔记. 一、前文介绍 Elasticsearch（简称ES）是一个基于Apache Lucene™的开源搜索引擎，无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。注意，Lucene 只是一个库。想要发挥其强大的作用，你需使用 Java 并要将其集成到你的应用中。 Lucene 非常复杂，你需要深入的了解检索相关知识来理解它
Elasticsearch简单介绍
最新发布
qq_41938541的博客
08-22 4847
SQL 适用于需要强一致性和复杂关系查询的场景，比如财务系统、事务型数据库。Elasticsearch 更适合大规模实时搜索、日志分析、全文检索等应用场景，具有高扩展性和近实时搜索能力。这两者可以互补使用，SQL 处理结构化数据，ES 提供搜索和分析。
Elasticsearch－基础介绍及索引原理分析
baogui8961的博客
08-27 3338
介绍 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作: 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别...
eleasticsearch
qq_31349333的博客
04-20 522
111
EleasticSearch核心原理
故事凌
09-15 1004
1. ES集群核心原理1. 索引分片1. 分片存储ES集群中有多个节点（node），其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。ES的一个概念就是去...
EleasticSearch核心原理详细分析.pdf
04-25
Elasticsearch（ES）是一种基于Lucene的分布式搜索引擎，它以高效、可扩展性和实时性著称。ES的核心原理在于其分布式特性和集群管理。在深入理解这些原理之前，我们首先需要了解几个基本概念。 ...
EleasticSearch基本原理及架构.pdf
04-25
**Elasticsearch 基本原理与架构** 在面对大规模数据检索的问题时，尤其是在数据量达到10亿、100亿级别的系统中，我们需要考虑以下几个关键点：选择适合的数据库（如MySQL、Sybase、Oracle、MongoDB、HBase等）、...
【实战学习EleasticSearch】SpringBoot+ElasticSearch实现京东搜索
weixin_40460171的博客
01-08 416
目录目的实现京东搜索ElasticSearch创建jd_goods索引IDEA创建elasticsearch_jd项目编写代码操作步骤总结 目的 传统的SQL模糊查询不能满足大数据下的搜索。ElasticSearch是一个实时分布式搜索和分析引擎，适用于大型企业，同时ElasticSearch也适用java开发并使用【目前最先进的开源搜索引擎】Lucence作为其核心来实现所有索引和搜索的功能，其通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文索引变得更简单。 实现京东搜索 使用
Elastic Search
粉红色的Pig
04-13 5195
简介 Elasticsearch是一个开源的，高扩展、分布式、RESTful 风格的搜索和数据分析引擎，是整个 Elastic Stack 技术栈的核心。 Elasticsearch是一个基于Apache Lucene™的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 Elasticsearch本身扩展性很好，可以在你的笔记本上运行，也可以在数以百计的服务器上处理PB级别的数据。 可以近乎实时的存储、检索数据。用于全文搜索、结构化搜索、分析以
EleasticSearch综述(一)
m0_37565948的博客
04-15 1316
Elasticsearch是一个开源的分布式、RESTful 风格的搜索和数据分析引擎，它的底层是开源库Apache Lucene。EleasticSearch的特点如下: 一个分布式的实时文档存储，每个字段可以被索引与搜索 一个分布式实时分析搜索引擎 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据 由于Elasticsearch的功能...
Elasticsearch入门(一)
蓝色的青春_巍
01-15 2096
一.什么是Elasticsearch? Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单. E...
elasticsearch官网
阿文的博客
08-11 1万+
官网链接
ElasticSearch详解
7B_Geek的博客
09-06 1万+
在 flush 过程中，内存中的缓冲将被清除，内容被写入一个新的 Segment，Segment 的 fsync 将创建一个新的提交点（ Commit Point），并将内容刷新到磁盘，旧的translog将被删除并开始一个新的translog，flush 触发的时机是定时触发（默认30分钟）或者 translog 变得太大（默认512M）时。取决于你的文档的大小，分片的数量和你使用的硬件，给 10,000 到 50,000 的结果文档深分页（ 1,000 到 5,000 页）是完全可行的。
ElasticSearch学习笔记—
royal_18的博客
10-31 295
核心概念： （1）Near Realtime（NRT）：近实时，两个意思，从写入数据到数据可以被搜索到有一个小延迟（大概1秒）；基于es执行搜索和分析可以达到秒级 （2）Cluster：集群，包含多个节点，每个节点属于哪个集群是通过一个配置（集群名称，默认是elasticsearch）来决定的，对于中小型应用来说，刚开始一个集群就一个节点很正常 （3）Node：节点，集群中的一个节点，节点也有...
Elasticsearch 简介
热门推荐
Elastic 中国社区官方博客
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
EleasticSearch综述(二)
m0_37565948的博客
04-16 484
1. 简单Demo 索引 (1) 创建一个名字为demo的索引 PUT http://localhost:9200/demo ES响应 { "acknowledged": true, "shards_acknowledged": true, "index": "demo" } (2) 创建索引时, 指定主分片和分片副本的数量 PUT http://loc...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值