ElasticSearch初学入门1/2

最新推荐文章于 2024-01-21 03:42:48 发布
最新推荐文章于 2024-01-21 03:42:48 发布
阅读量176 收藏
点赞数
分类专栏： ElasticSearch套装 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43490106/article/details/118059318
版权

ElasticSearch

ElasticSearch是一个基于Lucene的搜索服务器，是一个分布式、高扩展、高实时的搜索与数据分析引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。官网：https://www.elastic.co/

应用场景：

搜索：海量数据的查询

日志数据分析

实时数据分析

在使用关系型数据库查询数据时存在的弊端：

例如我们在操作关系型数据库实现模糊查询时：

  1. 性能低：使用模糊查询，左边有通配符，不会走索引，会全表扫描，性能低

  2. 功能弱：如果以”华为手机“作为条件，查询不出来数据

1.1倒排索引

将文档进行分词，形成词条和id的对应的关系即为反向索引

1.2ElasticSearch存储和查询的原理

在ElasticSearch中的：

index（索引）：相当于mysql的库

映射：相当于mysql 的表结构

document(文档)：相当于mysql的表中的数据

ElasticSearch使用倒排索引，对文档中title进行分词：

  1. 使用“手机”作为关键字查询

    生成的倒排索引中，词条会排序，形成一颗树形结构，提升词条的查询速度

  2. 使用“华为手机”作为关键字查询

    华为：1,3

    手机：1,2,3

1.3ElasticSearch核心概念

索引（index）

ElasticSearch存储数据的地方，可以理解成关系型数据库中的数据库概念。

映射（mapping）

mapping定义了每个字段的类型、字段所使用的分词器等。相当于关系型数据库中的表结构。

文档（document）

Elasticsearch中的最小数据单元，常以json格式显示。一个document相当于关系型数据库中的一行数据。

倒排索引

一个倒排索引由文档中所有不重复词的列表构成，对于其中每个词，对应一个包含它的文档id列表。

类型（type）

一种type就像一类表。如用户表、角色表等。在Elasticsearch7.X默认type为_doc

  • ES 5.x中一个index可以有多种type。

  • ES 6.x中一个index只能有一种type。

  • ES 7.x以后，将逐步移除type这个概念，现在的操作已经不再使用，默认_doc

1.4操作ElasticSearch

#----------操作索引------------
# 创建person索引
PUT person
# 查询指定名称的索引信息
GET person
# 查询所有索引
GET _all
# 关闭索引
POST person
# 打开索引
POST person
# 删除索引
DELETE person

1.5ElasticSearch数据类型

简单数据类型

  1. 字符串

    text：会分词，不支持聚合

    keyword：不会分词，将全部内容作为一个词条，支持聚合

  2. 数值 integer、long、float、double

  3. 布尔：boolean

  4. 二进制：binary

  5. 范围类型

    integer_range, float_range, long_range, double_range, date_range

  6. 日期:date

复杂数据类型

  1. 数组：[ ] Nested: nested (for arrays of JSON objects 数组类型的JSON对象)

  2. 对象：{ } Object: object(for single JSON objects 单个JSON对象)

1.6映射操作

# 创建索引
PUT person

# 查询索引
GET person

# 给person创建映射
PUT person/_mapping
{
  "properties":{
    "name":{
      "type":"text"
    },
    "age":{
      "type":"integer"
    }
  }
}

# 只查询person索引的映射信息
GET person/_mapping

# 删除索引，不允许直接删除映射
DELETE person

# 创建索引的同时创建映射
PUT person
{
  "mappings": {
    "properties": {
      "name":{
          "type":"text"
        },
        "age":{
          "type":"integer"
        }
    }
  }
}

# 给映射添加字段，和创建映射一样
PUT person/_mapping
{
  "properties":{
    "address":{
      "type":"text"
    }
  }
}

1.7文档操作

# 添加文档，指定id
POST person/_doc/1
{
  "name":"张益达",
  "age":30,
  "address":"武汉"
}
# 添加文档，不指定id会自动生成一个id
POST person/_doc
{
  "name":"张大炮",
  "age":33,
  "address":"武汉"
}
# 查询所有文档
GET person/_search
# 查询id=1的文档
GET person/_doc/1

# 修改文档,和添加文档一样，id存在就是修改
POST person/_doc/1
{
  "name":"snake",
  "age":33,
  "address":"武汉"
}

# 删除指定id的文档
DELETE person/_doc/1

分词器

2.1分词器介绍

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包

是一个基于Maven构建的项目

具有60万字/秒的高速处理能力

支持用户词典扩展定义

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/archive/v7.4.0.zip

2.2分词器的使用

IK分词器有两种分词模式：ik_max_word和ik_smart模式

ik_max_word : 会将文本做最细粒度的拆分，比如会将 “湖北省武汉市” 拆分为 “湖北省、湖北、省、武汉市、武汉、市。

#方式一ik_max_word
GET _analyze
{
  "tokenizer": "ik_max_word",
  "text": ["湖北省武汉市"]
}

ik_max_word : 分词器执行如下：

{
  "tokens" : [
    {
      "token" : "湖北省",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "湖北",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "省",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "CN_CHAR",
      "position" : 2
    },
    {
      "token" : "武汉市",
      "start_offset" : 3,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "武汉",
      "start_offset" : 3,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "市",
      "start_offset" : 5,
      "end_offset" : 6,
      "type" : "CN_CHAR",
      "position" : 5
    }
  ]
}

ik_smart 模式：会做最粗粒度的拆分，比如会将“湖北省武汉市”拆分为湖北省、武汉市。

#方式二ik_smart
GET _analyze
{
  "tokenizer": "ik_smart",
  "text": ["湖北省武汉市"]
}

ik_smart分词器执行如下：

{
  "tokens" : [
    {
      "token" : "湖北省",
      "start_offset" : 0,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "武汉市",
      "start_offset" : 3,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 1
    }
  ]
}

2.3使用分词器查询文档

关键词查询：term

关键词查询不会分析查询条件，只有当关键词和索引完全匹配时才匹配搜索

全文查询：match

全文查询会分析查询条件，先将查询条件进行分词，然后查询，求并集

数据准备

创建索引，添加映射，并指定分词器为ik分词器

# 创建新的索引和映射
PUT user
{
  "mappings": {
    "properties": {
      "name":{
        "type": "keyword"
      },
      "age":{
      	"type": "integer"
      },
      "address":{
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

注意：在创建映射的时候，对于text类型的字段要指定分词器，否则默认使用standard分词器，一个中文一个词。

添加文档

#如果映射中没有age自动，此处会自动创建age自动
PUT person/_doc/1
{
  "name":"张三",
  "age":20,
  "address":"北京海淀区"
}
PUT person/_doc/2
{
  "name":"李四",
  "age":21,
  "address":"北京朝阳区"
}
PUT person/_doc/3
{
  "name":"王五",
  "age":22,
  "address":"北京昌平区"
}
PUT person/_doc/4
{
  "name":"赵六",
  "age":23,
  "address":"华为5G手机"
}

查询映射

GET user/_mapping
{
  "user" : {
    "mappings" : {
      "properties" : {
        "address" : {
          "type" : "text",
          "analyzer" : "ik_max_word"
        },
        "age" : {
          "type" : "long"
        },
        "name" : {
          "type" : "keyword"
        }
      }
    }
  }
}

词条查询：term

查询user中匹配到"北京"两字的词条

GET user/_search
{
  "query": {
    "term": {
      "address": {
        "value": "北京"
      }
    }
  }
}

结果：可以查到“北京朝阳区”、“北京昌平区”、“北京海淀区”。如果value=“北京天安门”，那么就一个都查不到了，因为查询条件不会被分词，需要完全匹配。

全文查询：match

全文查询会分析查询条件，先将查询条件进行分词，然后查询，求并集

GET /user/_search
{
  "query": {
    "match": {
      "address":"北京天安门"
    }
  }
}

结果：可以查到“北京朝阳区”、“北京昌平区”、“北京海淀区”

springboot整合ElasticSearch见下篇

你的臭宝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
初学快速入门ES语法基础
12-11
私人笔记帮助初学Es的朋友们快速掌握esDSL语法，kibana，es安装和基本特性。有兴趣的小伙伴可以下载
elasticsearch搜索中文分词理解、类似SQL语句中的"LIKE”条件的模糊搜索以及忽略大小写搜索
芭蕉扇
06-05 1万+
01》不进行分词的索引建立：URL：es_index_test{  "settings": {    "index": {      "number_of_shards": "4",      "number_of_replicas": "1"    }  },  "mappings": {    "es_index_type_test": {   
[ElasticSearch]数据类型keyword和text的区别
热门推荐
Lionel的博客
10-27 3万+
ElasticSearch数据类型keyword和text的区别在 ES2.x 版本字符串数据是没有 keyword 和 text 类型的，只有string类型，ES更新到5版本后，取消了 string 数据类型，代替它的是 keyword 和 text 数据类型，那么 keyword 和 text 有什么区别了？ Text 数据类型被用来索引长文本，比如说电子邮件的主体部分或者一款产品的介绍。
ElasticSearch学习笔记（二）
今夕何年博客
09-12 466
一、基本操作
Elastic Search成长之路【二】- es是什么
小猪奋斗
06-21 347
一、Elasticsearch是什么？ Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 二、Elasticsearch的用途是什么？ elasticsearch可在速度上和可拓展上表现出色，而且还...
ElasticSearch基础介绍
qq_19462809的博客
12-29 4575
es是一个使用java语言并且基于Lucene编写的搜索引擎框架，提供了分布式的全文搜索功能，提供了一个统一的基于restful风格的web接口。集群需要多少种配置（内存型/IO型/运算型），每种配置需要多少数量，通常需要和产品运营和运维测试商定，视业务量和服务器的承载能力而定，并留有一定的余量。一个合理的ES集群配置应不少于5台服务器，避免脑裂时无法选举出新的Master节点的情况，另外可能还需要一些其他的单独的节点，比如ELK系统中的Kibana、Logstash等。
beginner-kits:包含ES 2016和TypeScript的初学者入门工具包
05-12
aurelia-初学者套件 该库是平台的一部分，为刚开始学习该框架的人们提供了入门工具包。 这些工具包旨在与在线入门指南一起提供。 要了解最新信息，请访问并订阅。 如果您有任何疑问，我们邀请您 。 如果您想对我们...
Part-1-Intro-to-Elasticsearch-and-Kibana
05-05
第1部分：Elasticsearch和Kibana简介 欢迎来到弹性堆栈的初学者速成课程！ 此存储库包含在研讨会第1部分：Elasticsearch和Kibana简介中共享的所有资源。 在研讨会结束之前，您将能够： 了解Elasticsearch和Kibana...
opgles 入门demo
05-05
一个超完整的openglesdemo，纹理，旋转，片元着色，定点着色，应有竟有，适合初学者 和很多中高级 开发者！
1.elasticsearch文档存储（保存|修改|删除）
PacosonSWJTU的博客
10-07 2438
1.本文的es版本是7.2.1；；本文介绍的是 es数据存储开发方式；3.文档存储包括文档保存，修改，删除；（文档查询的开发方式比较复杂，单独新开一篇阐述）
文档存储Elasticsearch系列--1 ES介绍
拽着尾巴的鱼儿的博客
02-03 2165
文档存储Elasticsearch系列--1 ES介绍
数据存储：ElasticSearch如何存储和管理数据
最新发布
禅与计算机程序设计艺术
01-21 1119
1.背景介绍 在大数据时代，数据存储和管理成为企业和组织的重要需求。ElasticSearch是一个开源的搜索和分析引擎，它可以帮助我们高效地存储和管理数据。在本文中，我们将深入了解ElasticSearch的核心概念、算法原理、最佳实践、应用场景和未来发展趋势。 1. 背景介绍 ElasticSearch是一个基于Lucene的搜索引擎，它具有分布式、可扩展、实时搜索等特点。Elastic...
ElasticSearch的数据存储及写入原理
qq_42456324的博客
12-14 2904
数据先写入内存 buffer，然后每隔 1s，将数据 refresh 到 os cache，到了 os cache 数据就能被搜索到（所以我们说es 是准实时的， es 从写入到能被搜索到，中间有 1s 的延迟）。每隔 5s，将数据写入 translog 文件（这样如果机器宕机，内存数据全没，最多会有 5s 的数据丢失），translog 大到一定程度，或者默认每隔 30mins，会触发 commit 操作，将缓冲区的数据都 flush 到 segment file 磁盘文件中。
（一：原理2）ElasticSearch的数据存储原理
weixin_43930865的博客
01-17 3368
（八）ElasticSearch的数据存储原理 elasticsearch的索引操作以及mapping配置 文章目录（八）ElasticSearch的数据存储原理1：ElasticSearch的数据存储原理1.1：步骤分析1.2：索引数据的具体保存方式1.2.1 ：Field Data1.2.2：Term Index1.2.3：Per-Document Values 1：ElasticSearch...
elasticsearch常识：存储结构、优化
weixin_39990025的博客
02-10 2188
elasticsearch常识： 1、es存储结构 Relational DB -> Databases -> Tables -> Rows -> Columns //这个就是Mysql的结构,不多说,都懂 Elasticsearch -> Index-> Types -> Documents -> Fields //这个就是ES的结构 #ES...
Elasticsearch中数据是如何存储的——转自ES中文社区
RuiKe的博客
10-23 3855
前言 很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400GB，也可能多到6-7TB，为什么会造成这么大的差距呢？究其原因，我们来探究下Elasticsearch中的数据是如何存储。文章中我以Elasticsearch 2.3版本为示例，对应的lucene版本是5.5，
【Elasticsearch】 Elasticsearch中数据是如何存储的
九师兄
06-10 3051
1.概述 转载：https://elasticsearch.cn/article/6178 转载防丢失 前言 很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量，会有这样的疑问：xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的，只有数据写入ES后，才能观察到实际的存储空间。比如同样是1TB的数据，写入ES的存储空间可能差距会非常大，可能小到只有300~400GB，也可能多到6-7TB，为什么会造成这么大的差距呢？究其原因，我们来探究下Elasticsearch中的.
ElasticSearch存储介绍
huangsky001的博客
03-17 571
基本概念介绍 node 节点。一个运行中的 Elasticsearch 实例称为一个节点，而集群是由一个或者多个拥有相同 cluster.name 配置的节点组成， 它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。 作为用户，我们可以将请求发送到 集群中的任何节点 ，包括主节点。 每个节点都知道任意文档所处的位置，并且能够将我们的请求直接转发到存储我们所需文档的节点。 无论我们将请求发送到哪个节点，它都能负责从各个包含我们所需文档的节点收集回数据，并将
elasticsearch入门到精通pdf
05-16
elasticsearch入门到精通是一本非常优秀的elasticsearch学习指南。本书从elasticsearch的基础概念入手，对elasticsearch的结构、存储、检索、分布式架构等方面进行了详细的介绍。通过对官方文档的深入分析，本书展示...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值