elasticserach(一)

已于 2022-11-22 17:13:54 修改
阅读量334 收藏
点赞数
分类专栏： Elasticserach 文章标签： elasticsearch 大数据
于 2022-11-03 09:08:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43684214/article/details/127653889
版权

文章目录

1 elasticsearch简介

  • 什么是elasticsearch？
  • 一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能
  • 什么是elastic stack（ELK）？
  • 是以elasticsearch为核心的技术栈，包括beats、Logstash、Kibana、elasticsearch
  • 什么是Lucene？
  • 是Apache的开源搜索引擎类库，提供了搜索引擎的核心API，核心技术是倒排索引

1.1 正向索引和倒排索引

什么是文档和词条？

  • 文档：每一条数据就是一个文档
  • 词条：对文档中的内容分词，得到的词语就是词条
    什么是正向索引？
  • 基于文档id创建索引。查询词条时必须先找到文档，而后判断是否包含词条
    什么是倒排索引？
  • 对文档内容分词，对词条创建索引，并记录词条所在文档的id信息。查询时先根据词条查询到文档id，而后根据文档id获取到文档。

1.2 文档

elasticsearch是面向文档储存的，文档数据会被序列化为json格式后储存在elasticsearch中。

1.3 索引和映射

  • 索引：相同类型的文档的集合
  • 映射：索引中文档的字段约束信息，类似表的结构约束

1.4 elasticsearch与mysql概念对比

![在这里插入图片描述](https://img-blog.csdnimg.cn/3b54276eaf8549d4a23f03a66b4793b6.png

  • Mysql：擅长事务类型操作，可以确保数据的安全和一致性
  • Elasticsearch：擅长海量数据的搜索、分析、计算
    之间是互补关系！

2 部署单点es和kibana

2.1 创建网络

因为还需要部署kibana容器，因此需要让es和kibana容器互联。先创建一个网路
dockerhub地址:https://hub.docker.com/_/elasticsearch

docker network create es-net

2.2 拉取镜像

docker pull elasticsearch:7.12.1
docker pull kibana:7.12.1

docker load -i elasticsearch.tar
docker load -i kibana.tar

2.3 运行

2.3.1 单个容器运行

  • es运行
docker run -d 
--name elasticsearch  # 容器名
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m"  #内存配置
-e "discovery.type=single-node"  # 单机启动
-v es-data:/usr/share/elasticsearch/data # 数据存储目录
-v es-plugins:/usr/share/elasticsearch/plugins # 插件目录
--privileged 
--net es-net #  加入创建的网络
-p 9200:9200 # 用户访问的端口
-p 9300:9300 # 容器互联访问的端口
elasticsearch:7.12.1
  • kibana运行
docker run -d
--name kibana 
-e ELASTICSEARCH_HOSTS=http://elasticsearch:9200 #同一个网络可以使用容器名代替IP
--network=es-net #加入创建的网络
-p 5601:5601
kibana:7.12.1  # tag要和es一致

2.3.2 docker-compose一件运行

version : '3'
#networks:
#  es:
services:
  elasticsearch:
    container_name: elasticsearch
    image: elasticsearch:7.12.1
    ports:
      - 9200:9200
      - 9300:9300
    volumes:
      - ./es-data:/usr/share/elasticsearch/data
      - ./es-plugins:/usr/share/elasticsearch/plugins
    environment:
      ES_JAVA_OPTS: -Xms512m -Xmx512m
      discovery.type: single-node
    privileged: true
#    networks:
#      - "es"
  kinana:
    container_name: kinana
    image: kibana:7.12.1
    ports:
      - 5601:5601
#    networks:
#      - "es"
    environment:
      ELASTICSEARCH_HOSTS: http://elasticsearch:9200
#    volumes:
#    - ./kibana.yml:/usr/share/kibana/config/kibana.yml

2.4 访问

  • http://localhost:9200/
    在这里插入图片描述
  • http://localhost:5601/app/home#/
    在这里插入图片描述

2.5 模拟访问

在这里插入图片描述

3 分词器

3.1安装ik插件

# 进入容器内部
docker exec -it elasticsearch /bin/bash

# 在线下载并安装
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

# 退出
exit

#重启容器
docker restart elasticsearch

3.2 测试

IK分词器包含两种模式：

  • ik_smart: 最少切分
    在这里插入图片描述
  • ik_max_word:最细切分
    在这里插入图片描述

3.3 ik分词器的拓展和停用

  • 在挂载的es插件目录招到IKAnalyzer.cfg.xml配置文件，如下：
    在这里插入图片描述
  • 配置内容如下
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">ext.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords">stopword.dic</entry>
	<!--用户可以在这里配置远程扩展字典 -->
	<!-- <entry key="remote_ext_dict">words_location</entry> -->
	<!--用户可以在这里配置远程扩展停止词字典-->
	<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>
  • ext.dic（新定义的词汇）
    在这里插入图片描述
  • stopword.dic（排除的词汇）
    在这里插入图片描述

4 索引库操作

4.1 mapping映射属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

  • type：字段数据类型，常见的简单类型有：
    ----字符串：text（可分词的文本）、keyword（是一个整体，不能拆分，精确值，例如：品牌、国家、IP地址）
    ----数值：long、integer、short、byte、double、float
    ----布尔：boolean
    ----日期：date
    ----对象：object
    —经度：geo_point
    注意：es中没有数组，都可以有多个值。
  • index：是否创建索引，默认为true（创建倒排索引，参与搜索）、false（不创建倒排索引，不参与搜索）。
  • analyzer：使用哪种分词器
  • properties：该字段的子字段

4.2 索引库的创建

类似mysql的表

# 新建
PUT /mytable
{
  "mappings": {
    "properties": {
      "info": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "email": {
        "type": "keyword",
        "index": false
      },
      "name": {
        "type": "object",
        "properties": {
          "firstName": {
            "type": "keyword"
          },
          "lastName": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

4.3 索引库的CRUD

  • 查看索引库语法：
GET /索引库名
  • 删除索引库的语法：
DELETE /索引库名
  • 修改索引库
    索引库和mapping一旦创建无法修改，但是可以添加新的字段，语法如下：
PUT /索引库名/_mapping
{
	"properties": {
		"新字段名": {
			"type": "integer"
		}
	}
}

举例如下：

# 查询
GET /mytable

# 修改
PUT /mytable/_mapping
{
  "properties":{
    "age": {
      "type": "integer"
    }
    
  }
}

# 删除
DELETE /mytable

5 文档操作

5.1 新增文档

POST /索引库名/_doc/文档id
{
  "info": "奥特曼来自M78星云",
  "email": "302976975@qq.com",
  "name": {
    "firstName": "迪",
    "lastName": "迦"
  }
}

举个例子：

# 插入文档
POST /mytable/_doc/1
{
  "info": "奥特曼来自M78星云",
  "email": "302976975@qq.com",
  "name": {
    "firstName": "迪",
    "lastName": "迦"
  }
}

5.2 查询文档

GET /索引库名/_doc/文档id

举个例子：

GET  /mytable/_doc/1

5.3 删除文档

DELETE /索引库名/_doc/文档id

举个例子：

DELETE /mytable/_doc/1

5.4 修改文档

  • 方法一：全量修改，会删除旧文档，添加新文档，如果id不存在则新增
PUT /索引库名/_doc/文档id
{
  "info": "奥特曼来自M78星云",
  "email": "302976975@qq.com",
  "name": {
    "firstName": "迪",
    "lastName": "迦"
  }
}

举个例子：

# 全量修改文档
PUT /mytable/_doc/1
{
  "info": "奥特曼来自M78星云",
  "email": "302976975@qq.com",
  "name": {
    "firstName": "赛",
    "lastName": "罗"
  }
}
  • 方法二：增量修改，修改指定字段值
POST /索引库名/_update/文档id
{
  "doc": {
    "info": "赛罗奥特曼来自M78星云"
  }
}

举个例子：

# 增量修改
POST /mytable/_update/1
{
  "doc": {
    "info": "赛罗奥特曼来自M78星云"
  }
}

6 JavaRestClient实现索引库操作

6.1 创建索引库DSL语句

  • 新建患者索引库
  • 字段拷贝可以使用copy_to属性将当前字段拷贝到指定字段。
PUT /patient
{
  "mappings": {
    "properties": {
      "patientId": {
        "type": "keyword", 
        "copy_to": "all"
      },
      "barCode": {
        "type": "keyword", 
        "copy_to": "all"
      },
      "barCodeImage": {
        "type": "keyword",
        "index": false
      },
      "patientName": {
        "type": "text",
        "analyzer": "ik_max_word", 
        "copy_to": "all"
      },
      "patientAge": {
        "type": "integer", 
        "copy_to": "all"
      },
      "patientSex": {
        "type": "keyword", 
        "copy_to": "all"
      },
      "hospitalNum": {
        "type": "keyword", 
        "copy_to": "all"
      },
      "opcNum": {
        "type": "keyword", 
        "copy_to": "all"
      },
      "abo": {
        "type": "keyword"
      },
      "rh": {
        "type": "keyword"
      },
      "irregular": {
        "type": "keyword"
      },
      "reportPath": {
        "type": "keyword",
        "index": false
      },
      "reportStatus": {
        "type": "keyword"
      },
      "createTime": {
        "type": "date", 
        "copy_to": "all"
      },
      "updateTime": {
        "type": "date",
        "index": false
      },
      "deleteTime": {
        "type": "date"
      },
      "remark": {
        "type": "text",
        "analyzer": "ik_max_word", 
        "copy_to": "all"
      },
      "all": {
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

6.2 引入RestClient依赖

注意：版本要一致！！！

		<dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.12.1</version>
        </dependency>

6.3 初始化RestHighLevelClient

import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.junit.jupiter.api.AfterEach;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.api.Test;

import java.io.IOException;
public class EsTest {

    private RestHighLevelClient client;

    @Test
    public void test(){
        System.out.println(client);
    }

    @BeforeEach
    public void testBefor(){
                this.client = new RestHighLevelClient(
                RestClient.builder(
                        //可以是多个
                        HttpHost.create("http://127.0.0.1:9200")
                )
        );
    }

    @AfterEach
    public void testAfter() throws IOException {
        this.client.close();
    }
}

6.4 通过RestClient创建索引库

	@Test
    public void createPatientIndex() throws IOException {
        // 1 创建Request对象，命名索引库名称
        CreateIndexRequest request = new CreateIndexRequest("patient");
        // 2 请求参数，内容是DSL语句的json字符串，类型json
        request.source(MAPPING_TEMPLATE, XContentType.JSON);
        // 3 发起请求
        client.indices().create(request, RequestOptions.DEFAULT);
    }

6.5 RestClient删除索引库

	@Test
    public void deletePatientIndex() throws IOException {
        // 1 创建Request对象，命名索引库名称
        DeleteIndexRequest request = new DeleteIndexRequest("patient");
        // 2 发起请求
        client.indices().delete(request, RequestOptions.DEFAULT);
    }

6.6 RestClient判断索引库是否存在

	@Test
    public void existsPatientIndex() throws IOException {
        // 1 创建Request对象，命名索引库名称
        GetIndexRequest request = new GetIndexRequest("patient");
        // 2 发起请求
        boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
        System.out.println(exists);
    }

7 RestClient操作文档

7.1 新增文档

	@Test
    public void addDoc() throws IOException {
        FangzhouUser fangzhouUser = fangzhouUserMapper.selectFangzhouUserByPatientId(1l);

        // 1 准备Request对象
        IndexRequest indexRequest = new IndexRequest("patient").id(fangzhouUser.getPatientId().toString());
        // 2 准备json文档
        indexRequest.source(JSON.toJSONString(fangzhouUser),XContentType.JSON);
        // 3 发起请求
        client.index(indexRequest,RequestOptions.DEFAULT);
    }

7.2 查询文档

	@Test
    public void testSelectDoc() throws IOException {
        // 1.准备Request
        GetRequest request = new GetRequest("patient", "1");
        // 2.发送请求，得到相应
        GetResponse response = client.get(request, RequestOptions.DEFAULT);
        // 3.解析相应结果
        String jsonstr = response.getSourceAsString();
        FangzhouUser fangzhouUser = JSON.parseObject(jsonstr, FangzhouUser.class);
        System.out.println(fangzhouUser);
    }

7.3 修改文档

  • 全局修改，先删除后新增
  • 局部修改
@Test
    public void testUpdateDoc() throws IOException {
        UpdateRequest request = new UpdateRequest("patient", "1");
        request.doc(
                "patientName","胡云峰",
                "patientSex","女"
        );
        client.update(request,RequestOptions.DEFAULT);
    }

7.4 删除文档

@Test
    public void testDeleteDoc() throws IOException {
        DeleteRequest request = new DeleteRequest("patient", "1");
        client.delete(request,RequestOptions.DEFAULT);
    }

7.5 批量导入文档

@Test
    public void testBulkDoc() throws IOException {
        List<FangzhouUser> userList = fangzhouUserMapper.selectFangzhouUserList(new FangzhouUser());
        BulkRequest bulkRequest = new BulkRequest();
        for (FangzhouUser user : userList) {
            bulkRequest.add(new IndexRequest("patient").id(user.getPatientId().toString()).source(JSON.toJSONString(user),XContentType.JSON));
        }
        client.bulk(bulkRequest,RequestOptions.DEFAULT);
    }
逻辑峰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Django集成搜索引擎Elasticserach的方法示例
12-26
搜索引擎 进行全文检索时，会对数据库中的数据进行一遍预处理，单独建立起一份 索引结构数据 。 索引结构数据 类似字典的索引检索页 ，里面包含了关键词与词条的对应关系，并记录词条的位置。 搜索引擎进行全文...
elasticsearch-6.8.2-win.zip
03-02
ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。
ElasticSerach讲解
听风动的博客
05-05 538
1.ElasticSerach定义: ES=elasticsearch简写， Elasticsearch是一个开源的高扩展的分布式全文检索引擎， 它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。 Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能， 但是它的目的...
ElasticSerach
qq_52163230的博客
04-05 2240
目录ES简介倒排索引MySQL与ES搭建安装ES安装kibana安装IK分词器 ES简介 是一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控 易扩展 高性能（倒排索引） 支持分布式，可水平扩展 提供Restful接口，可被任何语言调用 ELK：ES的核心技术栈 Lucene：搜索引擎类库，提供搜索引擎的核心API 倒排索引 正向索引：基于文档id创建索引，查询时先找文档判断是否包含词条； 模糊查询，需要逐个扫描，最终返回结果集 倒排索引 先对内容分词，对词条创建索引，并记录含有该
elasticserach
baihehaitangyijiu的博客
09-18 284
原文链接：https://zhuanlan.zhihu.com/p/62892586 微信公众号：芋道源码里的文章。 elasticsearch原理 反向索引。 加入我要根据一个关键字去查找文档，由于没有关键字到文档这种索引。我只能从1号文档遍历到最后一个文档，看文档中有没有关键字。 但是如果我将文档进行分词，以这些分词作为key, 文档的位置作为value，就可以直接通过key去找到value了。 elasticserach重要组成部分 索引，类型，文档 索引：理解为mysql的数据库。存放数据的地
Elasticserach操作
Coco_chun的博客
09-12 164
索引的管理 1）创建索引库 方法： put url： http://192.168.68.129:9200/{索引名称} 分片： 早期版本默认是5片，所有片加到一起才是一个完整的索引库。 ES7中默认是1片。 副本： 默认是1 每个分片默认都有一个副本。 2）删除索引 方法： delete ur.
ELasticSerach
weixin_45229417的博客
06-10 182
ELasticSerach 7.9.2安装过程 1.windows下总安装文件 分为以下步骤 ELasticSerach 搜索引擎 ELasticSerach-head 可视化界面 kiBana 请求器 ik 分词器 相关华为镜像下载地址： ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D logstash: https://mirrors.huaweicloud.com/logstash/?C=N&
ElasticSerach入门
2301_76857256的博客
12-13 25
ES是一个开源的分布式搜索引擎，可以用来实现搜索，日志统计，分析，系统监控，ES易于扩展，可以轻松扩展到上百台服务器处理PB级别的数据（1PB=1024TB 1TB=1024GB）。ES自身携带分布式协调管理功能，但仅支持json文件格式 docker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" //单节点模式运行 -e ES_JAVA_OPTS="-Xms64m -Xmx51
Elasticserach简介
我见青山多妩媚，料青山见我应如是
12-21 1270
前言 最近要用ES，所以就简单的学习一下 应用场景 1.站内搜索 主要是网页信息量比较大的网站会有站内全文检索这一功能，方便用户快速检索信息 2.Nosql ES在读写性能优于MongoDB,同时支持地理位置查询 3.日志分析 日志分析由实时日志分析平台ELK(Elasticsearch,Logsash和Kibana) ELK能够对日志进行集中收集，存储，搜索，分析，监控，以及可视化 ...
ElasticSerach单机版安装
两袖清风野蛮人
09-26 244
ElasticSerach单机版安装 注：本次讲解的是版本的是elasticsearch-6.3.1.tar.gz，centos7+jdk1.8版本，在安装前请确保你的Linux系统上安装了jdk1.8 1、下载elasticsearch，并上传到Linux上 （这里我上传到的是opt目录，做程序得有自己的套路，我就按照自己进行安装讲解，至于你怎么安装就看你的需求了）。 2、在opt下面创建一个文...
Elasticserach 集群搭建
weixin_42051852的博客
01-15 209
Elasticserach 集群搭建 第一步：创建普通用户 注意：ES不能使用root用户来启动，必须使用普通用户来安装启动。这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等 创建一个es专门的用户（必须） #使用root用户在三台机器执行以下命令 useradd es mkdir -p /export/servers/es chown -R es /export/...
elasticsearch6.6.1这个是源码,另一个资源是发行包
03-20
这个是elasticsearch源码,可直接下载压缩,在主目录下打开cmd执行gradle idea,可直接在idea中引用调试
CentOS7.4+HDP+Ambari+consul+Elasticsearch安装部署文档.rar
07-12
CentOS7.4+HDP+Ambari+consul+Elasticsearch 安装部署文档
百度地图毕业设计源码-netty-projects:网络项目
06-06
百度地图毕业设计源码 ...ElasticSerach 1) Hadopp子项目Avro项目，使用Netty作为底层通信框架 3）阿里巴巴开源的RPC框架 Dubbo 地址：http://dubbo.apache.org/zh-cn/ Netty在Dubbo里面使用的地址 ...
Elasticsearch 8.1官网文档梳理 - 十三、Search your data（数据搜索）
Wolf_xujie的博客
05-26 582
代表处理该请求所耗费的毫秒数。从节点收到查询后开始，到返回客户端之前，包括在线程池中等待、在集群中执行分布式搜索和收集、排序所有结果所花费的时间。这里有两个比较有用的参数需要注意一下。这强调一下 Response 中的。
Git版本控制
最新发布
Zorazjj的博客
05-28 912
Git是免费的、开源的，最初Git是为辅助Linux内核开发的，来替代BitKeeper！
CentOS7 部署单机版 ElasticSearch + Logstash + Kibana
weixin_44295677的博客
05-27 394
通过logstash收集信息，发送给elasticsearch处理，通过kibana可以查看到logstash收集到的信息。并配置HTTPS，通过更安全的方式链接。
如何使用 Connector API 将数据提取到 Elasticsearch Serverless 中
Elastic 中国社区官方博客
05-28 1095
Elasticsearch 支持一系列摄取方法。其中之一是 Elastic Connectors，它将 SQL 数据库或 SharePoint Online 等外部数据源与 Elasticsearch 索引同步。连接器对于在现有数据之上构建强大的搜索体验特别有用。例如，如果你管理一个电子商务网站，并希望通过跨产品目录的语义搜索来增强客户体验，Elastic Connectors 可以让这一切变得简单。如果你的产品目录存储在 Elastic 支持的。
elasticserach 单例
07-25
在 Elasticsearch 中，你可以使用单例模式来确保只有一个 Elasticsearch 客户端实例被创建和使用。这可以帮助你在应用程序中管理连接和资源的使用。 以下是一个简单的示例，展示了如何在 Java 中创建 Elasticsearch...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逻辑峰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值