ES 相关基本概念

最新推荐文章于 2024-10-03 22:37:03 发布
最新推荐文章于 2024-10-03 22:37:03 发布
阅读量1k 收藏
点赞数
分类专栏： ES
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dymkkj/article/details/81278490
版权

1.index  --同RDBMS 的schema  数据库类型

2.Type 类型 --同数据表


3.Document --同RDBMS 一组关系:一条记录

4.Field :字段对应列

ES 主从架构,去中心花(任意节点都可以同ES集群通信,并且是等价,P2P网络架构,即使master,又是data节点


主节点(master node),数据节点(data node)

主节点: 负责集群状态变更:增删节点,index,mapping管理,replicator管理,reparition管理
为防止脑裂,徐设置多个master,生产中,master独占一台服务器,这个服务器不存储数据(防止负载过重,导致主节点不能提供服务,甚至导致脑裂)
相关配置单台机器 对应配置文件配置项 : 
node.master: true  
node.data: false 

数据节点:
数据节点用于存放数据,存放lucence索引,数据节点在生产环境也是配置成独占的配置如下
单台机器对应的配置文件配置项:
node.master.false: true
node.data: false


新增节点发现方式
组播:每个节点向指定的多播足和端口发送ping请求,每个节点响应请求；当找到主节点,就将该节点接入集群.如果多播没发现主节点,集群会通过paxos算法选择一个主节点
生产环境:不推荐使用组播方式,可能会将不相干的节点加入集群
discover.zen.ping.multicast.enabled=false


单播: 只向配置好的主机列表和端口(yml文件) 发送请求
discover.zen.ping.unicast.hosts:
-- 192.168.10:9300
-- 192.168.1.11
-- seeds.mydomain.com

注: 不需要把集群所有节点都配置,新节点会根据配置的主机和端口通信,只要发现了某个集群,就会加入到这个集群；但从高可用角度,节点配置不能配置过少.


分片:
ES提供了将索引划分成多片的能力,称作分片.
1.分片的数量只能在创建索引时指定.
2.每个分片是一个功能完善,独立的索引,此索引可以被放置到任何节点.

一个索引可以有多个shard,每个shard就是一个lucene索引
从集群角度,类似分片类似kafka的topic分区(partition)

分片意义:
1.允许水平分割,扩展你的内容容量
2.允许在(多节点的集群基础)分片上之上进行分布式,并行操作,提高吞吐,性能

副本:

网络环境进行容错设计；在节点,分片因故障而处于离线或消失情况下,故障转移机制异常重要.
ES允许创建分片的一份或多分拷贝,拷贝称之为份分片数据的复制--复制


复制意义:
1.分片/节点失败,离线状态下,复制提供高可用,复制分片不与 原/主分片置于同一个节点是非常重要的.
2.因为嗦嗦可以在所有复制上并行执行,复制产生的副本可以扩展你的搜索两/吞吐量

默认情况:ES为每个索引分配5个主分片,1.个复制--意味着集群至少有两个节点.你的索引将会有5个主分片,5个复制分片(1个完全拷贝),总共两个副本,集群有个10个分片

副本:对应一个完整的数据整体--相对正本来说
分片:每个数据整体(副本,正本)按照规则(范围,hash值等)进行切分为多个分片(kafka partition),这些分片组成一个数据整体


注意:分片可以在创建index是指定,指定后无法修改,副本可以修改

每个shard(分片)最大数据了 (20亿Byte)

分片,副本设置

curl -XPUT http://hadoop:9200/myindex/mytype -d  '{
  "settings":{"number_of_shards":2,"number_of_replicas":1}
 }'
{"acknowledged":true,"shards_acknowledged":true,"index":"myindex"}


设置副本数
curl  -XPUT  http://spark/ -d '{
    "number_of_replicas":0
}'

正排索引:

documentId  doucment  word


倒排索引:反过来进行排列

word   doucmentid  

ES简单操作:


upsert操作

curl  -XPUT http://hadoop:9200/myindex1/mytype1/1?pretty -d '{
 "name":"Jerry",
 "age":22,
 "sex":"male",
 "hobby":["Football","BasketBall","sing"]
 }'

curl  -XPUT http://hadoop:9200/myindex1/mytype1/2?pretty -d '{
 "name":"jerry1",
 "age":23,
 "sex":"female",
 "hobby":["Football","BasketBall","sing"]
 }'


curl  -XPUT http://hadoop:9200/myindex1/mytype1/3?pretty -d '{
 "name":"Jerry2",
 "age":24,
 "sex":"male",
 "hobby":["Football","BasketBall","sing"]
 }'


curl  -XPUT http://hadoop:9200/myindex1/mytype1/4?pretty -d '{
 "name":"jerry3",
 "age":26,
 "sex":"male1",
 "hobby":["Football","BasketBall","sing"]
 }'


curl  -XPUT http://hadoop:9200/myindex1/mytype1/5?pretty -d '{
 "name":"Jerry4",
 "age":26,
 "sex":"female",
 "hobby":["Football","BasketBall","sing"]
 }'

查询: GET
curl  -XGET http://hadoop:9200/myindex1/mytype1/5?pretty


更新:XDELTE

curl  -XPOST http://hadoop:9200/myindex1/mytype1/5?pretty -d '{
 "name":"Jerry44",
 "age":26,
 "addr":"beijing"
 "sex":"female",
 "hobby":["Football","BasketBall","sing"]
 }'


curl  -XPOST http://hadoop:9200/myindex1/mytype1/5?pretty -d '{
 "name":"Jerry44",
 "age":26,
 "addr":"beijing",
 "sex":"female",
 "hobby":["Football","BasketBall","sing"]
 }'
{
  "_index" : "myindex1",
  "_type" : "mytype1",
  "_id" : "5",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2, curl  -XDELETE http://hadoop:9200/myindex1/mytype1/5?pretty
{
  "found" : true,
  "_index" : "myindex1",
  "_type" : "mytype1",
  "_id" : "5",
  "_version" : 3,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  }
}

    "successful" : 1,
    "failed" : 0
  },
  "created" : false
}


ES 更新 非真正修改了数据,而是有新创建了一行数据,进行数据版本管理,获取最新版本的数据,类似hbase 数据cell都有版本


删除:
 curl  -XDELETE http://hadoop:9200/myindex1/mytype1/5?pretty
{
  "found" : true,
  "_index" : "myindex1",
  "_type" : "mytype1",
  "_id" : "5",
  "_version" : 3,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  }
}


Mapping　（index 必须是已经存在）
查看和指定字段的数据类型;显示Index 结构

curl  -XGET http://hadoop:9200/myindex1/mytype1/_mapping?pretty
{
  "myindex1" : {
    "mappings" : {
      "mytype1" : {
        "properties" : {
          "addr" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          },
          "age" : {
            "type" : "long"
          },
          "hobby" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          },
          "name" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          },
          "sex" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          }
        }
      }
    }
  }
}


curl  -XGET http://hadoop:9200/myindex/_mapping?pretty
{
  "myindex" : {
    "mappings" : { }
  }
}

动态maping
在前面通过XPUT 创建文档，没有现实指定字段数据类型，ES自动省城了每个字段数据类型

显式Mapping：
首先查看下ES支持数据类型：
5.x版本：　简单数据类型　text,keyword(全文检索：不进行进行分词，完整检索）,date,integer,long,double,boolean,ip
支持json分层特性类型：　object,nested
特定数据类型：geo_point,geo_shape,completion


2.x 还有string类型　--> 5.x text


ES能根据字段值自动推测数据类型

注意：Mapping必须在index已经存在时才能进行创建

创建index
curl -XPUT http://hadoop:9200/mytest?pretty
{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "mytest"
}


显式maping:
curl -XPUT  http://hadoop:9200/mytest/orders/_mapping?pretty -d '{
"properties":{
"orderid":{"type":"text"},
"goodname":{"type":"keyword"},  //不想被分词器拆分-->5.x: 指定字段数据类型为keyword即可
"producer":{"type":"text","index":"not_analyzed"}, //不想被分词器拆分--> 2.x 指定为 "index":"not-analyzed"
"goodnums":{"type":"integer"},
"price":{"type":"float"},
"orderdate":{"type":"date","format":"dd/MM/YYYY"} 
}
}'
{
  "acknowledged" : true
}

注：　如需要字段不被分词器拆分，而是作为一个整体存储在索引中， 2.x,5.x分别做如下设置：
2.x: 指定为 "index":"not-analyzed"
5.x: 指定字段数据类型为keyword即可


查看maping
curl -XGET http://hadoop:9200/mytest/_mapping?pretty

结果:
{
  "mytest" : {
    "mappings" : {
      "orders" : {
        "properties" : {
          "goodname" : {
            "type" : "keyword"
          },
          "goodnums" : {
            "type" : "integer"
          },
          "orderdate" : {
            "type" : "date",
            "format" : "dd/MM/YYYY"
          },
          "orderid" : {
            "type" : "text"
          },
          "price" : {
            "type" : "float"
          },
          "producer" : {
            "type" : "text"
          }
        }
      }
    }
  }
}

 


索引模板

在实际生产应用中, 有些索引可能具有相同或者相似的属性, 这个时候可以希望这些索引的类型和字段相同, 这个时候就可以使用索引模板。 
比如电商企业,每个月都会有订单数据, 我可以按月建index, 索引名称:myorders_{yyyymm}, 每个月的index的type和字段数据类型均相同, 这个
时候就可以使用模板了。 
索引模板对应的模板:myorders_*, 那么当新建的索引的名称匹配myorders_*, 就会自动引用模板中定义的类型映射


创建索引模板

curl -XPUT http://hadoop:9200/_template/myoders_template -d '{
   "template":"myorders_*",
   "settings":{"number_of_shards":5,"number_of_replicas":2},
   "mappings":{
     "t_order":{
       "_source":{
         "enabled":false
       },
       "properties":{
          "orderid":{"type":"text"},
          "price":{"type":"float"},
          "supplier":{"type":"keyword"},
          "created_at":{"type":"date","format":"YYYY/MM/dd HH:mm:ss"}
        }

     }
   }

}'


{"acknowledged":true}


查看所有模板列表:
1
curl ‐XGET http://spark1234:9200/_template?pretty
{
  "myoders_template" : {
    "order" : 0,
    "template" : "myorders_*",
    "settings" : {
      "index" : {
        "number_of_shards" : "5",
        "number_of_replicas" : "2"
      }
    },
    "mappings" : {
      "t_order" : {
        "_source" : {
          "enabled" : false
        },
        "properties" : {
          "orderid" : {
            "type" : "text"
          },
          "price" : {
            "type" : "float"
          },
          "supplier" : {
            "type" : "keyword"
          },
          "created_at" : {
            "type" : "date",
            "format" : "YYYY/MM/dd HH:mm:ss"
          }
        }
      }
    },
    "aliases" : { }
  }
}

根据模板名称查看模板:
1 curl ‐XGET http://spark1234:9200/_template/myorders_template?pretty


四 查询

(1). URL查询
查询name为xiao1的记录:
select * from myindex.mytyep where name='xiao1'

curl ‐XGET http://spark1234:9200/myindex/mytype/_search?q=name:xiao1
(2). match_all查询
使用curl ­XGET或者curl ­XPOST
 curl ‐XGET http://spark1234:9200/myindex/mytype/_search?pretty ‐d '{
     "query":{
         "match_all": {}
     }
 }'
(3). terms查询
查询倒排索引中与查询条件完全匹配的文档。
curl ‐XPOST http://spark1234:9200/myindex/mytype/_search?pretty ‐d '{
    "query":{
        "term": { 
            "name":{
                "value":"ring"
            } 
        } 
    },
    "size": 10
 }'
查看结果:
将name中包含ring关键字的都查询出来了:
{ 
  "took" : 20,
  "timed_out" : false,
  "_shards" : { 
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0 
  },
   "hits" : { 
     "total" : 2,
     "max_score" : 0.6931472,
     "hits" : [ 
       { 
         "_index" : "myindex",
         "_type" : "mytype",
         "_id" : "4",
         "_score" : 0.6931472,
         "_source" : {20           "name" : "ring",
           "age" : 26,
           "sex" : "female",
           "hobby" : [ 
             "dance"
           ] 
         } 
       },
       { 
         "_index" : "myindex",
         "_type" : "mytype",
         "_id" : "5",
         "_score" : 0.25811607,
         "_source" : { 
         "name" : "zhou ring",
          "age" : 26,
           "sex" : "female",
           "hobby" : [
             "dance"
           ]
         }
       }
     ]
   }
 }

  

(4). Boolean查看
类比关系型数据库的and或or操作:
must: 满足条件的数据
must_not: 不满足条件的数据
should: 至少满足其中一个条件的数据
select * from myindex.mytype  where age=26 and  name in ("zhou", "ring");
curl ‐XPOST http://spark1234:9200/myindex/mytype/_search?pretty ‐d '{
    "query":{
        "bool": { 
            "must":[
                { 
                    "term": { 
                      "age": 26
                    } 
                } 
             ],
             "should":[
                 { 
                     "terms": { 
                          "name":["zhou", "ring"]
                     } 
                 } 
             ] 
         } 
           
     },
     "size": 10
 }'
可以设置mininum_number_should_match来控制使用should时至少要满足的条件的个数。                                                                                                                                                                                        70,0-1       底端
                              

head　webUI进行查询
添加query_string
must   _all  query_string   "name"="jerry1"
 

青山流水在深谷
关注
专栏目录
Elasticsearch8.X入门实战（一）Elasticsearch基本概念
大数据实战派
12-27 1789
Elasticsearch是一个分布式的、开源的全文搜索和分析引擎，其建立在Apache Lucene的基础之上，使用Java语言编写，通过提供一套简单一致的 RESTful API隐藏了Lucene的复杂性，从而使全文检索变得非常容易。Elasticsearch将全文搜索、结构化搜索和数据分析三大功能整合在一起，能够以近实时的速度存储、搜索和分析大型数据集。
ElasticSearch简介
北漂的IT小白菜
12-18 646
今天师哥从外面带回了一个新技术，关于全文搜索的。名叫elasticsearch，留下博客一篇，记录此次的学习过程。           ES 的基本概念     索引 (Index)     ES 将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。类比传统的关系型数据库领域来说，索引相当于 SQL 中的一个数据库，或者一个数据存储方案 (schema) 。索引由其名称 (
ES相关概念理解
DB2_c的博客
07-31 817
ES相关概念理解 Elasticsearch特点：分布式，高性能，高可用，高伸缩的搜索和分析； 1）可作为一个大型分布式集群，处理PB级别的数据，服务大型公司，亦可运行在少数或单台设备上服务小型公司 分布式的特性： Elasticsearch致力于隐藏式分布式系统的复杂性，如下这些操作都是在底层自动完成的： 将你的文档分区到不同的容器或者分片（shards...
ElasticSearch集群架构原理剖析
qq_45061342的博客
10-03 897
为什么要使用ES集群架构 分布式系统的可用性与扩展性 高可用性 服务可用性——允许有节点停止服务 数据可用性——部分节点丢失，不会丢失数据 可扩展性 请求量提升/数据的不断增长(将数据分布到所有节点上) ES集群架构的优势： 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响 存储的水平扩容
Es基本概念
Ting_feng1的博客
07-14 343
简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 同时ES还是一个分布式文档数据库，其中每个字段均可被索引，而且每个字段的数据均可被搜索，能够横向扩展至数以百计的服务器存储以及处理PB级的数据。 可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。 ES就是为高可用和可扩展而生的。一方面可以通过升级硬件来完成系统扩展，称为垂直或向上扩展（Vertical Scale/Scaling Up）。 另一方面，增加更多
ES中的相关概念
小男孩tom的博客
03-14 1383
1、index（索引）: 相当于mysql中的数据库; 规范：这个名字必须小写，不能以下划线开头，不能包含逗号 2、type（类型）： 相当于mysql中的一张表 规范：可以是大写或者小写，但是不能以下划线或者句号开头，不应该包含逗号， 并且长度限制为256个字符，创建原理是把功能近似的数据放在一个index下 3、document（文档）： 相当于mysql中的一行（一条记录） field（域）...
[ES] 基础概念
weixin_30411239的博客
09-24 136
Elasticsearch是基于Luence实现的一款搜索引擎，支持分布式和集群，并且搜索近实时,主要用于搜索和数据分析 索引 index 可以理解为数据库中的database，存储的是实际数据，因为ES是以Luence为基础的，Luence索引是一种倒排索引结构，不同于数据库中的表面向行数据，索引是面向词而非面向文档，如下图是一个简单的存储结构： 一个索引由多个段组成，段的特性：写一次读多...
elasticsearch-开源分布式搜索引擎Elasticsearch的基本概念与操作详解
最新发布
11-14
内容概要：本文全面介绍了Elasticsearch的基础知识，涵盖了Elasticsearch的概念、架构、应用场景、安装与配置、基本操作及其常见问题解决方法。具体包括Elasticsearch是什么、核心概念如索引、文档、字段、映射，...
ElasticSearch系列一：ElasticSearch基本概念
qq_40595922的博客
09-28 588
es基础概念
Elasticsearch基本概念
热门推荐
chwensrong的博客
03-09 4万+
本文主要是对ES基本概念进行整合，理论先行，夯实对ES的基本概念，在知道“是什么”，才能提高学习效率，保姆级学习教程请移步： ES入门笔记. 一、前文介绍 Elasticsearch（简称ES）是一个基于Apache Lucene™的开源搜索引擎，无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。注意，Lucene 只是一个库。想要发挥其强大的作用，你需使用 Java 并要将其集成到你的应用中。 Lucene 非常复杂，你需要深入的了解检索相关知识来理解它
ElasticSearch 基础教程,包括基本概念安装和配置的详细信息
06-24
### ElasticSearch 基础教程知识点详解 ...以上内容涵盖了 ElasticSearch 的基本概念、安装配置流程、常用操作及高级功能介绍。通过深入学习这些知识点，您可以更好地利用 ElasticSearch 解决实际工作中遇到的问题。
3.ES 相关概念
enlyhua的专栏
06-05 324
1.相关概念1.ES 概念 索引(index) => mysql 库 类型(type) => mysql 库
ES基本概念
yishudeyu的专栏
08-03 693
1. 索引（Index） 相当于数据库实例 2. 类型（Type） 相当于SQL中的数据库表，相当于MongoDB中的集合 3. 文档（Document） 相当于SQL数据库表中的一行记录，相当于MongoDB中的文档 4. 节点（Node） 一个ES实例即为一个节点。主节点由选举产生。 节点名配置： #elasticsearch.yml #node.name: "Franz K
ES基础概念
u012469740的专栏
08-29 1712
1.倒排索引 倒排索引源于实际应用中需要根据属性的值来查找记录。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因此称为倒排索引。 倒排索引里有三个文件，索引词文件，词频文件，位置文件。 2.索引词 索引词是一个能够被索引的精确词。 3.文本 文本是一段普通的非结构化文字。 3.分析 分析是将文本转换为索引词的过程，分析的结果依赖于分词器。 4.集群 集群由一个或多个
ES的基础概念
六月的雨
04-26 483
ES的基础概念
elasticsearch中的基本概念和原理
tiancityycf的专栏
12-16 594
参考：https://www.phpmianshi.com/?id=144 基本概念和原理 ​ ES其实就是基于lucene之上封装的一个分布式 索引框架,所以lucene拥有的特性,它都是有的,同时因为它是基于分布式的,所以对很多的功能进行了扩展,要想掌握ES,需要先熟悉一下Lucene,因为熟悉了Lucene之后,不论是学ES,还是Solr都是比较容易的.在这里插一句经常有人在选型的时候,不知道用ES还是Solr,建议可以参考下面的方案:如果系统是从头接入搜索引擎,那么就不要犹豫了,直接使用ES,
ES基本概念和原理简单介绍（1）
weixin_42408447的博客
08-14 1361
es
ES的索引概念
2301_79080050的博客
11-15 840
6. 分片和副本：ES索引可以分成多个分片，每个分片是一个独立的索引。1. 概念：Elasticsearch（ES）是一个开源的全文搜索引擎，可以快速地存储、搜索和分析大量的结构化和非结构化数据。9. 查询和过滤：ES索引提供了多种查询和过滤方式，包括全文搜索、词条搜索、范围搜索和正则表达式搜索等。13. 性能优化：ES索引可以通过调整分片和副本、优化查询和过滤、使用缓存和批量操作等方式提高性能。5. 索引的配置：ES索引可以配置多个参数，包括分片和副本、分析器、映射、设置和权限等。
Elasticsearch简单使用系列--详细介绍ES的核心概念
lcj_star的专栏
08-03 840
Elasticsearch的核心概念: 1,NRT(near real time):es是一个近实时搜索平台; 2,cluster:集群是一个或多个node节点,存储所有数据,并提供跨node间搜索和索引的能力.集群是根据名字区分的,默认为”elasticsearch”; 3,Node:是一个server,可以存储数据,参与集群的索引和搜索.node的名字在启动时使用UUID随机生成的,可以自
Elasticsearch的基本概念和架构
06-07
Elasticsearch是一个基于Lucene的分布式开源搜索引擎，可用于快速、准确地存储、搜索和分析大量数据。...以上是Elasticsearch的基本概念和架构，了解这些概念对于使用Elasticsearch进行数据存储和搜索非常重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值