Elasticsearch-核心篇(1)-基础知识

最新推荐文章于 2023-11-24 11:05:53 发布
最新推荐文章于 2023-11-24 11:05:53 发布
阅读量446 收藏
点赞数 1
分类专栏： 36_Elasticsearch 文章标签： elasticsearch
本文为博主原创文章，转载请注明出处！
本文链接：https://blog.csdn.net/sinat_34104446/article/details/119081101
版权

文章目录

一、Elasticsearch Stack

  1. The Elastic Stack包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack），能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化
  2. Elaticsearch简称为ES，ES是一个开源的高扩展的分布式全文搜索引擎，是整个Elastic Stack技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据
  3. Elasticsearch是一个开源的搜索引擎，建立在一个全文搜索引擎库Apache Lucene基础之上
  4. Elasticsearch使用 Java 编写的，它的内部使用 Lucene 做索引与搜索，通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API
  5. Elasticsearch形容
    • 一个分布式的实时文档存储，每个字段可以被索引与搜索
    • 一个分布式实时分析搜索引擎
    • 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据
    • 跨平台、跨系统、跨语言，只需要通过http发出请求即可获取数据
  6. GitHub源码地址：https://github.com/elastic/elasticsearch
  7. Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，将Elasticsearch里存储文档数据和关系型数据库MySQL存储数据的概念进行一个类比

在这里插入图片描述

  1. 基本格式：协议://ip:port/索引/类型/记录
  2. 一个ES集群可以包含多个索引库，每个索引库又包含了很多类型(ES7后已经作废)，类型中可以包含多个文档，每个文档又可以包含多个字段
    • ES7后类型只有一个就是 _doc ，用于解决搜索一个关键词需要到不同的类型中查找文档
    • 相当于所有的数据全部都在一个数据表中，这样就不会存在跨类型查询，可以加快检索速度
  3. JSON作为文档序列化的格式，比如一条用户信息
{
    "name" : "TianXinCoord",
    "email" : "tianxincoord@163.com",
    "about" : "Elasticsearch",
    "interests": [ "code", "music" ]
}

二、倒排索引

2.1 倒排索引

  1. 倒排索引源于实际应用中需要根据属性的值来查找记录，这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址
  2. 由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引（inverted index）
  3. 带有倒排索引的文件我们称为倒排索引文件，简称倒排文件（inverted file）
  4. 倒排索引中的索引对象是文档或者文档集合中的单词等，用来存储这些单词在一个文档或者一组文档中的存储位置，是对文档或者文档集合的一种最常用的索引机制
  5. 搜索引擎的关键步骤就是建立倒排索引，倒排索引一般表示为一个关键词，然后是它的频度（出现的次数）、位置（出现在哪一篇文章或网页中，及有关的日期，作者等信息），好比一本书的目录、标签一般，读者想看哪一个主题相关的章节，直接根据目录即可找到相关的页面，不必再从书的第一页到最后一页，一页一页地查找
  6. Lucene使用的是倒排文件索引结构，下面用例子介绍该结构及相应的生成算法，假设有两篇文章，文章1和文章2
    • 文章1的内容为∶ Tom lives in Guangzhou，I live in Guangzhou too.
    • 文章2的内容为∶ He once lived in Shanghai.

2.2 取得关键词

  1. 由于Lucene是基于关键词索引和查询，首先要取得这两篇文章的关键词，通常需要如下处理措施
    • 现在有的是文章内容，即一个字符串，先要找出字符串中的所有单词，即分词
    • 英文单词由于用空格分隔，比较好处理，中文单词间由于是连在一起的，所以需要特殊的分词处理
    • 文章中的"in"“once”“too"等词没有什么实际意义，中文中的"的”"是"等字通常也无具体含义，这些不代表概念的词可以过滤掉
    • 用户通常希望查"He"时能把含"he"和"HE"的文章也找出来，所以所有单词需要统一大小写
    • 用户通常希望查"live"时能把含"lives"和"lived"的文章也找出来，所以需要把"lives"，“lived"还原成"live”
    • 文章中的标点符号通常不表示某种概念，也可以过滤掉
    • 在Lucene 中以上措施由 Analyzer类完成，经过上面处理后，得到如下结果
      • 文章1的所有关键词为∶【tom】【live】【guangzhou】【i】【live】【guangzhou
      • 文章2的所有关键词为∶【he】【live】【shanghai】

2.3 建立倒排索引

  1. 有了关键词后就可以建立倒排索引了
    • 上面的对应关系是：“文章号"对"文章中所有关键词”
    • 倒排索引把这个关系倒过来，变成"关键词"对"拥有该关键词的所有文章号"
  2. 仅知道有哪些关键词还不够，还需要知道关键词在文中出现的次数和位置，通常有两种位置
    • 字符位置，即记录该词是文章中第几个字符（优点是显示并定位关键词快）
    • 关键词位置，即记录该词是文章中第几个关键词（优点是节约索引空间、词组查询快），Lucene 中记录的就是这种位置
    • 加上"出现频率"和"出现位置"信息后，索引结构如下
    • 【关键词】在文章中出现的【文章号】出现了【几次(出现频率)】，位置分别是【出现位置】

  1. 实现时，Lucene将上面三列分别作为词典文件（Term Dictionary）、频率文件（frequencies）位置文件（positions）保存
  2. 其中词典文件不仅保存了每个关键词，还保留了指向频率文件秆位置文件的指针，通过指针可以找到该关键字的频率信息和位置信息
  3. Lucene中使用了feild的概念，用于表达信息所在位置（如标题中、文章中、URL中）在建索引中，该feild信息也记录在词典文件中，每个关键词都有一个field信息，因为每个关键字一定属于一个或多个feild

三、名词术语

3.1 索引词（term）

  1. 在 Elasticsearch中索引词（term）是一个能够被索引的精确值
  2. methodRefrence、Foo、FOO 几个单司是不同的索引词
  3. 索引词（term）是可以通过 term 查询进行准确的搜索

3.2 文本（text）

  1. 文本是一段普通的非结构化文字，相当于原始数据
  2. 通常文本会被分析成一个个的索引词，存储在 Elasticsearch的索引库中
  3. 为了让文本能够进行搜索，文本字段需要事先进行分析
  4. 当对文本中的关键词进行查询的时候，搜索引擎应该根据搜索条件搜索出原文本

3.3 分析（analysis）

  1. 分析是将文本转换为索引词的过程，分析的结果依赖于分词器，比如：FOO BAR、 Foo-Bar 和foo bar这几个单词有可能会被分析成相同的索引词foo和bar，这些索引词存储在Elasticsearch的索引库中
  2. 当用FoO:bAR进行全文搜索的时候，搜索引擎根据匹配计算也能在索引库中搜索出之前的内容，这就是Elasticsearch 的搜索分析

3.4 集群（cluster）

  1. 集群由一个或多个节点组成，对外提供服务、索引、搜索功能
  2. 在所有节点，一个集群有一个唯一的名称默认为"elasticsearch"，此名称很重要，因为每个节点只能是集群的一部分，当该节点被设置为相同的集群名称时，就会自动加入集群
  3. 当需要有多个集群的时候，要确保每个集群的名称不能重复，否则，节点可能会加入错误的集群
  4. 请注意，一个节点只能加入一个集群。此外，还可以拥有多个独立的集群，每个集群都有其不同的集群名称。例如，在开发过程中，你可以建立开发集群库和测试集群库，分别为开发、测试服务

3.5 节点（node）

  1. 一个节点是一个逻辑上独立的服务，它是集群的一部分，可以存储数据，并参与集群的索引和搜索功能。就像集群一样，节点也有唯一的名字，在启动的时候分配。如果你不想要默认名称，你可以定义任何你想要的节点名
  2. 这个名字在管理中很重要，在网络中 Elasticsearch集群通过节点名称进行管理和通信
  3. 一个节点可以被配置加入一个特定的集群。默认情况下，每个节点会加入名为Elasticsearch的集群中，这意味着如果你在网络上启动多个节点，如果网络畅通，他们能彼此发现并自动加入一个名为Elasticsearch的集群中
  4. 在一个集群中，可以拥有多个想要的节点，当网络没有集群运行的时候，只要启动任何一个节点，这个节点会默认生成一个新的集群，这个集群会有一个节点

3.6 路由（routing）

  1. 当存储一个文档的时候，它会存储在唯一的主分片中，具体哪个分片是通过散列值进行选择
  2. 默认情况下，这个值是由文档的ID生成。如果文档有一个指定的父文档，则从父文档 ID 中生成，该值可以在存储文档的时候进行修改

3.7 分片（shard）

  1. 分片是单个Lucene 实例，这是 Elasticsearch管理的比较底层的功能
  2. 索引是指向主分片和副本分片的逻辑空间，对于使用，只需要指定分片的数量，其他不需要做过多的事情
  3. 在开发使用的过程中，我们对应的对象都是索引，Elasticsearch会自动管理集群中所有的分片，当发生故障的时候，Elasticsearch 会把分片移动到不同的节点或者添加新的节点
  4. 一个索引可以存储很大的数据，这些空间可以超过一个节点的物理存储的限制。例如，十亿个文档占用磁盘空间为 1TB，仅从单个节点搜索可能会很慢，还有一台物理机器也不一定能存储这么多的数据
  5. 为了解决这一问题，Elasticsearch将索引分解成多个分片，当创建一个索引，可以简单地定义想要的分片数量
  6. 每个分片本身是一个全功能的、独立的单元，可以托管在集群中的任何节点

3.8 主分片（primary shard）

  1. 每个文档都存储在一个分片中，当你存储一个文档的时候，系统会首先存储在主分片中，然后会复制到不同的副本中
  2. 可以事先制定分片的数量，当分片一旦建立，则分片的数量不能修改

3.9 副本分片（replica shard）

  1. 每一个分片有零个或多个副本，副本主要是主分片的复制，其中有两个目的
    • 高可用性：当主分片失败的时候，可以从副本分片中选择一个作为主分片
    • 提高性能：当查询的时候可以到主分片或者副本分片中进行查询
  2. 默认情况下，一个主分片配有一个副本，但副本的数量可以在后面动态地配置增加
  3. 副本分片必须部署在不同的节点上，不能部署在和主分片相同的节点上
  4. 分片主要有两个很重要的原因
    1. 允许水平分割
    2. 扩展数据

3.10 索引（Index）

  1. 一个索引就是一个拥有几分相似特征的文档的集合，比如说，可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引
  2. 一个索引由一个名字来标识（必须全部是小写字母），并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字
  3. 在一个集群中，可以定义任意多的索引，能搜索的数据必须索引，这样的好处是可以提高查询速度，比如：新华字典前面的目录就是索引的意思，目录可以提高查询速度
  4. Elasticsearch索引的精髓：一切设计都是为了提高搜索的性能

3.11 类型（Type）

  1. 在一个索引中，可以定义一种或多种类型
  2. 一个类型是索引的一个逻辑上的分类/分区，其语义完全可以自主来定
  3. 通常会为具有一组共同字段的文档定义一个类型，不同的版本，类型发生了不同的变化
    在这里插入图片描述

3.12 文档（Document）

  1. 一个文档是一个可被索引的基础信息单元，也就是一条数据比如：可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档
  2. 文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式
  3. 在一个index/type里面，你可以存储任意多的文档

3.13 字段（Field）

  1. 相当于是数据表的字段，对文档数据根据不同属性进行的分类标识

3.14 映射（Mapping）

  1. mapping是处理数据的方式和规则方面做一些限制，如：某个字段的数据类型、默认值、分析器、是否被索引等等
  2. 这些都是映射里面可以设置的，其它就是处理ES里面数据的一些使用规则设置也叫做映射，按着最优规则处理数据对性能提高很大，因此才需要建立映射，并且需要思考如何建立映射才能对性能更好

3.15 分配（Allocation）

  1. 将分片分配给某个节点的过程，包括分配主分片或者副本
  2. 如果是副本，还包含从主分片复制数据的过程，这个过程是由master节点完成
TianXinCoord
关注
专栏目录
Elasticsearch-核心篇(2)-下载安装，网络技术基础知识点整理
m0_63102464的博客
11-10 2171
默认启动后将会占用9200和9300端口，如果有防火墙或者安全组需要运行通过 9300：通信端口 9200：http端口 es7+要求JDK版本至少是11，所以当启动时可能报错，所以要么升级JDK版本，要么配置ES运行JDK版本 在ES安装目录中已经自带了JDK11 修改bin/elasticsearch-env，在此目录中配置JAVA_HOME路径为ES下的jdk路径即可 | 目录 | 含义 | | — | — | | bin | 可执行脚本目录 | | config | .
elastic 6.3 +es权威指南+安装+python3操作es
大数据和机器学习研究
07-18 2001
1. elastic search     1.1 官网 https://www.elastic.co/cn/products     1.2 书 《Elasticsearch: 权威指南》 https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 2. Elasticsearch: 权威指南     2.1 对...
Python3 操作 elasticsearch
艾欧尼亚归我了
09-09 3348
elasticsearch 模块 Elasticsearch低级客户端。提供从Python到ES REST端点的直接映射。 连接集群节点 指定连接 es = Elasticsearch( ['172.16.153.129:9200'], # 认证信息 # http_auth=('elastic', 'changeme') ) 动态连接 es = Elastic...
Elasticsearch(三) Python 使用 elasticsearch 的基本操作
热门推荐
Refrain__WG的博客
04-11 1万+
参考文章：https://cuiqingcai.com/6214.html 一. python 安装 elasticsearch标准库 1. pip install elasticsearch 2. 中文分词插件： elasticsearch默认是英文分词器，所以我们需要安装一个中文分词插件elasticsearch-analysis-ik （注意和elasticse...
Python连接Elasticsearch
weixin_30341745的博客
08-23 546
安装依赖包 1 pip3 install -i https://pypi.douban.com/simple elasticsearch Python连接elasticsearch 1 from elasticsearch import Elasticsearch 2 3 # es = Elasticsearch() 4 # es = Elasticse...
python链接ES——学习笔记
weixin_43128028的博客
03-06 2300
相关文档 python与ES的链接库为elasticsearch. pip install elasticsearch node: python中from_ -> ES 中 from python中doc_type -> ES 中 type 为了保证库的灵活性，python中elasticsearch的接口尽量保证与ES相同。 全局选项 elasticsearch模块提供了一些...
Elasticsearch顶尖高手系列课程-核心知识篇资料
06-06
"ES-核心知识篇（上半季）课件-1.rar"可能包含了关于Elasticsearch架构、索引原理和数据模型的介绍，如文档、类型、索引、节点和集群等概念。 接着，"ES-核心知识篇（上半季）课件资料-2.rar"和"ES-核心知识篇（上...
【中华石杉】Elasticsearch顶尖高手系列-核心知识篇 + 高手进阶篇
05-06
这个"【中华石杉】Elasticsearch顶尖高手系列"涵盖了核心知识篇和高手进阶篇，旨在帮助用户深入理解和掌握Elasticsearch的各项功能和高级技巧。 在核心知识篇中，你将学习到： 1. **Elasticsearch基础**：包括...
Elasticsearch顶尖高手系列课程-核心知识篇+高手进阶篇(免费无加密)
02-27
根据提供的文件信息，我们可以推断出这是一套关于Elasticsearch的学习资料，旨在帮助学习者掌握Elasticsearch的核心知识及进阶技巧。接下来，我们将基于这些信息，详细展开相关的知识点。 ### Elasticsearch简介 ...
Elasticsearch核心知识篇、项目中如何使用、如何优化进阶
最新发布
07-12
### Elasticsearch核心知识篇 #### 一、Elasticsearch概述与特点 Elasticsearch是一个基于Lucene的开源搜索引擎，它提供了一套完整的分布式环境下的搜索和分析解决方案。由于其高度的可扩展性和强大的实时搜索能力...
elasticsearch python 查询的两种方法
luoganttcc的博客
08-06 3585
from elasticsearch import Elasticsearch es = Elasticsearch res1 = es.search(index="2018-07-31", body={"query": {"match_all": {}}}) print(es1) {'_shards': {'failed': 0, 'skipped': 0, 'successful': 5...
Elasticsearch 6.3.1的安装
m0_55380752的博客
01-13 213
elasticsaerch 6.3.1的安装
Centos6 安装elaticsearch6.3.0 +IK分词 + Kibana客户端
qq_38827095的博客
02-12 595
Centos6 安elaticsearch6.3.0 +IK分词 + Kibana客户端简单感受Centos6 安装elaticsearch6.3.0一、安装elasticsearch1、下载elasticsearch2、切换新用户，在local下创建elastic文件 ,并将拥有者更改为elastic,同时切换用户3、进入到elastic文件下，上传并解压下载elasticsearch-6.3....
Elasticsearch：关于在 Python 中使用 Elasticsearch 你需要知道的一切 - 8.x
Elastic 中国社区官方博客
01-16 6797
Elasticsearch 是一个非常强大的搜索引擎，使用非常广泛。本文的重点是使用 Python 批量创建 Elasticsearch 文档。我们仅仅触及了 Elasticsearch 搜索查询的皮毛。我有专门的文章介绍 Elasticsearch的 基本查询和高级查询，用于搜索和分析。Elasticsearch 原生语言中使用的查询与 Python 中使用的查询相同。因此，当你掌握了Kibana中的原生查询后，你就可以在Python中自由使用了。
【ElasticSearch查询忽略大小写】
一只不想做开发的猿猴
11-24 2010
ElasticSearch数据查询忽略大小写问题解决思路
ELK系列(十四)、在Python中操作ES，创建/查询/插入/更新/删除
王义凯 的博客
06-09 5748
前面我们介绍了在kibana,curl,es-head,hive中对es的操作，本篇介绍如何使用python操作ES。 ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0 ELK系列(二)、在Kibana中使用RESTful操作ES库 ELK系列(三)、安装Logstash插件及打包离线安装包 ELK系列(四)、Logstash读取nginx日志写入ES中 ELK系列(五)、Logstash修改@timestamp时间为日志的产生时间
Python3操作Elasticsearch进行增删改查
Infinity的博客
07-30 1万+
# -*- coding: utf-8 -*- from elasticsearch import Elasticsearch # 默认host为localhost,port为9200.但也可以指定host与port es = Elasticsearch() # 插入数据,index，doc_type名称可以自定义，id可以根据需求赋值,body为内容 es.index(index="m...
Elasticsearch让 keyword 和 term 忽略大小写
lzzyok的专栏
07-01 1万+
在Elasticsearch中处理字符串类型的数据时，如果我们想把整个数据作为一个完整的 term 存储，我们通常会将其类型（type）设定为keyword。而这种设定又会给我们带来麻烦，比如Bar、bar两个实际都是bar，但当我们去搜索bar时却无法返回 Bar的文档。要解决这个问题，就需要Normalizer出场了！ PUT test_normalizer{ "mappings": { "doc":{ "properties": { ...
Elasticsearch 的安装与使用（三）: python操作Elasticsearch增删改查
mygodit的博客
06-06 1469
python链接ES： from elasticsearch import Elasticsearch self.es = Elasticsearch([{'host': "192.168.1.88", 'port': 9200}]) 可以指定链接的ES的IP ES插入数据: 插入单条数据 for i in range(10): self.es.index(index...
编程进阶：Hadoop、Docker与Elasticsearch-Kafka指南
1. **Hadoop介绍**：这部分深入探讨了Apache Hadoop框架，首先介绍了在ArchLinux环境下（基于x86_64 Linux 5.17.1-arch1-1）的环境搭建，包括Java 8的OpenJDK安装。Hadoop的核心组件包括HDFS（Hadoop分布式文件系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值