ElasticSearch

最新推荐文章于 2024-07-15 14:01:48 发布
最新推荐文章于 2024-07-15 14:01:48 发布
阅读量938 收藏 20
点赞数 11
文章标签： elasticsearch jenkins 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanyajieh/article/details/137437092
版权

ElasticSearch

在这里插入图片描述

正向索引和倒排索引

elasticsearch采用倒排索引：

  • 文档：每条数据就是一个文档
  • 词条：文档按照语义分成的词语

什么是文档和词条？

  • 每一条数据就是一个文档
  • 对文档中的内容分词，得到的词语就是词条

什么是正向索引？

  • 基于文档id创建索引。查询词条时必须先找到文档，而后判断是否包含词条

什么是倒排索引？

  • 对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时现根据词条查询到文档id，而后获取到文档

索引

  • 索引：相同类型的文档的集合
  • 映射：索引中文档的字段约束信息，类似表的结构约束

在这里插入图片描述

Mysql：擅长事务类型操作，可以确保数据的安全性和一致性

Elasticsearch：擅长海量数据的搜索、分析、计算

安装elasticsearch

1.部署单点es

1.1.创建网络

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：

docker network create es-net
1.2.加载镜像

这里我们采用elasticsearch的7.12.1版本的镜像，这个镜像体积非常大，接近1G。不建议大家自己pull。

课前资料提供了镜像的tar包：

大家将其上传到虚拟机中，然后运行命令加载即可：

# 导入数据
docker load -i es.tar

同理还有kibana的tar包也需要这样做。

1.3.运行

运行docker命令，部署单点es：

docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

命令解释：

  • -e "cluster.name=es-docker-cluster"：设置集群名称
  • -e "http.host=0.0.0.0"：监听的地址，可以外网访问
  • -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小
  • -e "discovery.type=single-node"：非集群模式
  • -v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录
  • -v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录
  • -v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录
  • --privileged：授予逻辑卷访问权
  • --network es-net ：加入一个名为es-net的网络中
  • -p 9200:9200：端口映射配置

在浏览器中输入：http://192.168.150.101:9200 即可看到elasticsearch的响应结果：

2.部署kibana

kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习。

2.1.部署

运行docker命令，部署kibana

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1
  • --network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
  • -e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
  • -p 5601:5601：端口映射配置

kibana启动一般比较慢，需要多等待一会，可以通过命令：

docker logs -f kibana

查看运行日志，当查看到下面的日志，说明成功：

此时，在浏览器输入地址访问：http://192.168.150.101:5601，即可看到结果

2.2.DevTools

kibana中提供了一个DevTools界面：

这个界面中可以编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能。

3.安装IK分词器

3.1.在线安装ik插件（较慢）
# 进入容器内部
docker exec -it elasticsearch /bin/bash

# 在线下载并安装
./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

#退出
exit
#重启容器
docker restart elasticsearch
3.2.离线安装ik插件（推荐）
1）查看数据卷目录

安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看:

docker volume inspect es-plugins

显示结果：

[
    {
        "CreatedAt": "2022-05-06T10:06:34+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
        "Name": "es-plugins",
        "Options": null,
        "Scope": "local"
    }
]

说明plugins目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data 这个目录中。

2）解压缩分词器安装包

下面我们需要把课前资料中的ik分词器解压缩，重命名为ik

3）上传到es容器的插件数据卷中

也就是/var/lib/docker/volumes/es-plugins/_data ：

4）重启容器
# 4、重启容器
docker restart es

# 查看es日志
docker logs -f es
5）测试：

IK分词器包含两种模式：

  • ik_smart：最少切分

  • ik_max_word：最细切分

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "黑马程序员学习java太棒了"
}

结果：

{
  "tokens" : [
    {
      "token" : "黑马",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "程序员",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "程序",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "员",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "学习",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "java",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "ENGLISH",
      "position" : 5
    },
    {
      "token" : "太棒了",
      "start_offset" : 11,
      "end_offset" : 14,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "太棒",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "了",
      "start_offset" : 13,
      "end_offset" : 14,
      "type" : "CN_CHAR",
      "position" : 8
    }
  ]
}

3.3 扩展词词典

随着互联网的发展，“造词运动”也越发的频繁。出现了很多新的词语，在原有的词汇列表中并不存在。比如：“奥力给”，“传智播客” 等。

所以我们的词汇也需要不断的更新，IK分词器提供了扩展词汇的功能。

1）打开IK分词器config目录：

2）在IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->
        <entry key="ext_dict">ext.dic</entry>
</properties>

3）新建一个 ext.dic，可以参考config目录下复制一个配置文件进行修改

传智播客
奥力给

4）重启elasticsearch

docker restart es

# 查看 日志
docker logs -f elasticsearch

日志中已经成功加载ext.dic配置文件

5）测试效果：

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "传智播客Java就业超过90%,奥力给！"
}

注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

3.4 停用词词典

在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。

IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。

1）IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典-->
        <entry key="ext_dict">ext.dic</entry>
         <!--用户可以在这里配置自己的扩展停止词字典  *** 添加停用词词典-->
        <entry key="ext_stopwords">stopword.dic</entry>
</properties>

3）在 stopword.dic 添加停用词

唱跳rap

4）重启elasticsearch

# 重启服务
docker restart elasticsearch
docker restart kibana

# 查看 日志
docker logs -f elasticsearch

日志中已经成功加载stopword.dic配置文件

5）测试效果：

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "Java就业率超过95%,奥力给！"
}

注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

分词器的作用：

  • 创建倒排索引时对文档分词
  • 用户搜索时，对输入的内容分词

IK分词器有几种模式？

  • ik_smart：智能切分，粗粒度
  • ik_max_word:最细切分，细粒度

IK分词器如何拓展词条？如何停用词条？

  • 修改IK分词器所在目录的config目录的IKAnalyzer.cfg.xml文件添加拓展词典和停用词典
  • 在词典中添加拓展词条或者停用词条

4.部署es集群

部署es集群可以直接使用docker-compose来完成，不过要求你的Linux虚拟机至少有4G的内存空间

首先编写一个docker-compose文件，内容如下：

version: '2.2'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data02:/usr/share/elasticsearch/data
    networks:
      - elastic
  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data03:/usr/share/elasticsearch/data
    networks:
      - elastic

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

Run docker-compose to bring up the cluster:

docker-compose up

索引库操作

mapping是对索引库中文档的约束，常见的mapping属性包括：

  • type：字段数据类型，常见的简单类型有：
    • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
    • 数值：long、integer、short、byte、double、floag
    • 布尔：boolean
    • 日期：date
    • 对象：object
  • index：是否创建索引，默认为true
  • analyzer：使用哪种分词器
  • 该字段的子字段

创建索引库

ES中通过Restful请求操作索引库、文档。请求内容用DSL语句表示。

PUT /heima
{
  "mappings": {
    "properties": {
      "info":{
        "type":"text",
        "analyzer": "ik_smart"
      },
      "email":{
        "type": "keyword",
        "index":false
      },
      "name":{
        "type": "object", 
        "properties": {
          "firstName":{
            "type":"keyword"
          },
          "lastName":{
            "type":"keyword"
          }
        }
        
      }
    }
  }
}
  • 创建索引库：PUT /索引库名
  • 查询索引库：GET /索引库名
  • 删除索引库：DELETE /索引库名
  • 添加字段：PUT /索引库名/_mapping

文档操作

插入文档语法：

POST /索引库名/_doc/文档id
{
文档内容
}

查看文档语法：

GET /索引库名/_doc/文档id

删除文档语法：

DELETE /索引库名/_doc/文档id

修改文档：

  1. 方式一：全量修改，会删除旧文档，添加新文档
    1. 语法与添加相似
  2. 方式二：增量修改
    1. POST /索引库名/_update/文档id {“doc”:{字段}}

RestClinet操作数据库

  1. 引入依赖
  2. 覆盖默认版本
  3. 初始化RestHighLevelClient
   <dependencies>
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
        </dependency>
    </dependencies>
       
     
     <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <elasticsearch.version>7.12.1</elasticsearch.version>
    </properties>
       
       
    @BeforeEach
    public void setUp(){
        this.restClient = new RestHighLevelClient(RestClient.builder(
                HttpHost.create("http://192.168.73.130:9200")
        ));
    }
创建索引库
@Test
    public void test1() throws IOException {
        // 创建Request对象
        CreateIndexRequest request = new CreateIndexRequest("hotel");
        // 准备请求的参数：DSL语句
        request.source("{\n" +
                "  \"mappings\": {\n" +
                "    \"properties\": {\n" +
                "      \"id\":{\n" +
                "        \"type\":\"keyword\"\n" +
                "      },\n" +
                "      \"name\":{\n" +
                "        \"type\":\"text\",\n" +
                "        \"analyzer\":\"ik_max_word\"\n" +
                "      },\n" +
                "      \"address\":{\n" +
                "        \"type\":\"keyword\",\n" +
                "        \"index\":false\n" +
                "      },\n" +
                "      \"price\":{\n" +
                "        \"type\":\"integer\"\n" +
                "      },\n" +
                "      \"score\":{\n" +
                "        \"type\":\"integer\"\n" +
                "      },\n" +
                "      \"brand\":{\n" +
                "        \"type\":\"keyword\"\n" +
                "      },\n" +
                "      \"city\":{\n" +
                "        \"type\": \"keyword\"\n" +
                "      },\n" +
                "      \"startName\":{\n" +
                "        \"type\":\"keyword\"\n" +
                "      },\n" +
                "      \"business\":{\n" +
                "        \"type\":\"keyword\"\n" +
                "      },\n" +
                "      \"location\":{\n" +
                "        \"type\":\"geo_point\"\n" +
                "      },\n" +
                "      \"pic\":{\n" +
                "        \"type\":\"keyword\",\n" +
                "        \"index\":false\n" +
                "      }\n" +
                "    }\n" +
                "  }\n" +
                "}", XContentType.JSON);
        // 发送请求
        restClient.indices().create(request , RequestOptions.DEFAULT);
    }
删除索引库
    @Test
    public void testDeleteHotel() throws IOException {
        //创建Request对象
        DeleteIndexRequest request = new DeleteIndexRequest("hotel");
        //发送请求
        restClient.indices().delete(request , RequestOptions.DEFAULT);
    }
判断索引库是否存在
    @Test
    public void testDeleteHotel() throws IOException {
        //创建Request对象
        DeleteIndexRequest request = new DeleteIndexRequest("hotel");
        //发送请求
        restClient.indices().delete(request , RequestOptions.DEFAULT);
    }

RestClient文档操作

文档操作基本步骤：

  • 初始化RestHighLevelClient
  • 创建XxxRequest。XXX是Index、Get、Update、Delete
  • 准备参数（Index和Update需要）
  • 发送请求。调用RestHighLevelClient#.xxx()方法，xxx是index、get、update、delete
元元元元元yuan
关注
  • 11
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
es-head Elasticsearch的可视化操作插件
12-19
es-head是一个针对Elasticsearch的可视化操作插件。它提供了一个便捷的操作工具，可以连接Elasticsearch搜索引擎，并提供可视化的操作页面，对Elasticsearch进行各种设置和数据检索功能的管理。 es-head 插件可以在...
elasticSearch(ES)最新版 ik分词插件7.10 elasticsearch-analysis-ik-7.10.0
11-20
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene构建，提供了分布式、RESTful风格的搜索和分析引擎服务。在中文环境下，为了实现精确的分词和搜索，我们需要安装适合版本的分词插件，如“elastic...
【elasticsearch】linux环境搭建ES
weixin_38313819的博客
03-06 1637
修改系统中允许用户启动的进程开启多少个线程。默认的Linux限制root用户开启的进程可以开启任意数量的线程，其他用户开启的进程可以开启1024个线程。4.x版本的内核分配的内存更大。如果虚拟机的内存是1G，最多只能开启3000+个线程数。Elasticsearch 7.x 系列推荐使用 JDK 8 或 JDK 11，而更高版本的 Elasticsearch 可能会要求更新的 Java 版本。指定ES_HEAP_SIZE环境变量，服务进程在启动时候会读取这个变量，并相应的设置堆的大小。
Elasticsearch——使用Java API实现ES中的索引、映射、文档操作
★★光亭★★
08-26 2万+
Elasticsearch——使用Java API实现ES中的索引、映射、文档操作
ElasticSearch之ES8新特性及集群安装
scorpio的博客
09-18 9092
ElasticSearch之ES8新特性及集群安装
【elastic search】JAVA操作elastic search
Joker_ZJN的博客
01-11 7633
聊一下如何使用JAVA来操作es，如何和spring boot集成。
Elasticsearch02：ES安装部署【单机】
weixin_40612128的博客
03-16 3835
一、ES安装部署【单机】 1、下载 ES支持单机和集群，在使用层面是完全一样的。 首先下载ES的安装包，目前ES最新版本是7.x，在这使用7.13.4版本。 （1）百度网盘地址： 链接：https://pan.baidu.com/s/1rnvMTGm5CYAh0GfdNDHx-g?pwd=d8xv 提取码：d8xv （2）官网下载地址： https://www.elastic.co/cn/downloads/past-releases#elasticsearch 选择ES的对应版本。 ES 7.1
【Elasticsearch】Elasticsearch索引创建与管理详解
热门推荐
屿小夏.的知识博客
07-01 5万+
Elasticsearch 是一个基于 Apache Lucene 的开源搜索引擎，具有分布式、近实时、RESTful API 等特点。索引是 Elasticsearch 的核心概念之一，索引的创建和管理是使用 Elasticsearch 的基础技能。本文将详细介绍 Elasticsearch 索引的创建与管理，包括索引的基础概念、创建索引、索引模板、映射和索引别名等内容。
【Elasticsearch】Elasticsearch的分片和副本机制
最新发布
屿小夏.的知识博客
07-15 2万+
Elasticsearch是一种分布式搜索和分析引擎，它具有高扩展性和高可用性。为了实现这些特性，Elasticsearch引入了分片（Shard）和副本（Replica）的概念。本文将详细介绍Elasticsearch中的分片和副本机制，帮助读者理解它们的重要性及其实现方法。分片是Elasticsearch中存储数据的基本单位。一个索引可以由多个分片组成，每个分片都是一个独立的Lucene索引。通过分片，Elasticsearch可以将数据分布到多个节点上，从而实现数据的分布式存储和并行处理。
五-1、elasticsearch集群搭建(ES集群搭建)
xiaobai_july的博客
03-11 6217
从零到一，elasticsearch搭建集群
elasticsearch安装
weixin_44383484的博客
01-18 5605
elasticsearch安装
使用python库elasticsearch操作es
buside的博客
11-19 1819
1、单个写入 from elasticsearch import Elasticsearch es = Elasticsearch("192.168.0.11:9200") mappings = { "id": "11", "serial": "版本", "tags": {"comment": "标签3"}, "status": "tag1" } es.index(index="index-te
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
es docker 部署 elasticsearch.yml
03-19
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...
elasticsearch-analysis-pinyin-7.4.0 es拼音分词器7.4.0
04-05
Elasticsearch（简称ES）是一款强大的开源搜索引擎，广泛应用于大数据领域的全文检索。它以其高可扩展性、实时性能以及丰富的分析能力著称。在中文环境下，由于汉字的复杂性，分词是实现有效搜索的关键步骤。为此，...
es2csv：从Elasticsearch导出到CSV文件
01-30
**es2csv：从Elasticsearch导出到CSV文件** `es2csv`是一个非常实用的工具，主要用于将数据从Elasticsearch索引导出到CSV格式的文件中。这个工具通常由Python编写，适用于那些需要对存储在Elasticsearch中的大量...
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
es-dedupe:用于从Elasticsearch删除重复文档的工具
05-05
ES重迭 用于删除按某些唯一字段（例如--field Uuid ）分组的重复文档的工具。 删除过程包括两个阶段： 汇总查询查找具有相同field值且至少出现2次的文档。 此类文档的一份副本留在ES中，其他副本则通过批量API删除...
Elasticsearch基础教程：快速掌握ES语法与索引概念
"这篇资源是针对初学者的Elasticsearch (ES) 语法基础入门教程，涵盖了ES的安装、基本特性和DSL语法，同时也讲解了Kibana的使用。此外，教程还深入介绍了搜索引擎和倒排索引的概念，旨在帮助初学者快速掌握搜索引擎...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值