Elasticsearch集群原理、安装和基本使用

最新推荐文章于 2025-03-21 12:09:41 发布
最新推荐文章于 2025-03-21 12:09:41 发布
阅读量470 收藏 3
点赞数 3
分类专栏： 微服务 文章标签： elasticsearch 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37640410/article/details/108723379
版权

Elasticsearch(ES)是一个基于Lucene构件的开源、分布式、RESTful接口全文搜索引擎。ES还是一个分布式文档数据库，其中每个字段均是被索引的数据且可被搜索，它能够扩展至数以百计的服务器存储以及处理PB级别的数据。它可以在很短的时间内在存储、搜索和分析大量的数据。它通常作为具有复杂所搜场景情况下的核心发动机。
ES就是为考可用和可扩展而生的。可以通过购置性能更强的服务器来完成。

Elasticsearch特点

  • 横向可扩展性： 只需要增加台服务器，做一点配置，启动一下ES就可以并入集群。
  • 分片机制提供更好的分布性： 同一个索引被分成多个分片（sharding），这点类似HDFS的块机制；mapreduce的分而治之的方式可提升处理效率。
  • 高可用： 提供复制（replica）机制，一个分片可以存在多个副本，使得某台服务器在宕机的情况下，集群仍旧可以照常运行，并会把服务器宕机丢失的数据信息复制恢复到其他可用的节点上。

Elasticsearch应用场景

大型分布式日志分析系统ELK，elasticsearch（存储日志）+logstash（收集日志）+kibana（展示数据）
电商系统搜索系统、网盘搜索引擎等。

Elasticsearch存储结构

Elasticsearch是文件存储，Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档，用json作为文档序列化的格式，比如下面这条用户数据：

{
	"user":"zfl",
	"sex":"0",
	"age":"23"
}

关系型数据库：数据库->表->行->列
Elasticsearch：索引(Index)->类型(type)->文档(Documents)->字段(Fields)

Linux环境安装ES

  • 安装JDK环境变量
export JAVA_HOME=/usr/local/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

  • 下载Elasticsearch安装包
    官方文档：https://www.elastic.co/downloads/elasticsearch

  • 上传Elasticsearch安装包
    在这里插入图片描述

  • 解压Elasticsearch
    在这里插入图片描述
    目录结构说明如下：

    bin：脚本文件，包括ES启动&安装插件等
config：elasticsearch.yml（ES配置文件）、jvm.options（JVM配置文件）、日志配置文件等
JDK：内置的jdk
lib：类库
logs：日志文件
modules：ES所有模块，包括X-pack等
plugins：ES已经安装的插件，默认没有插件
data：ES启动的时候，默认与logs同级，用来存储文档数据。该目录可在elasticsearch.yml中配置

  • 修改elasticsearch.yml
    在这里插入图片描述

  • 启动elasticsearch
    报错：不允许使用root用户直接运行

    在这里插入图片描述
    解决：

创建一个分组
groupadd lnhg
创建用户并添加进分组
useradd lnhu -g lnhg -p 123456
授予权限
chown -R lnhu:lnhg es安装目录
su lnhu 切换用户

在这里插入图片描述

继续报错：
在这里插入图片描述

编辑/etc/sysctl.conf添加如下参数：

vi /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p

在这里插入图片描述
还会报一个错，崩溃…
在这里插入图片描述
编辑/etc/security/limits.conf添加如下参数：

vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

在这里插入图片描述
在这里插入图片描述

到此单机版本搭建完成，重新启动服务，reboot。
在这里插入图片描述

  • 访问Elasticsearch
    关闭防火墙 systemctl stop firewalld.service
    在这里插入图片描述
    http://192.168.15.130:9200
    在这里插入图片描述
  • 端口区别(9200和9300)
    9200端口：ES节点和外部通讯使用
    9300端口：ES节点之间通讯使用

kibana环境安装(windows安装)

  • 下载kibana-6.2.4-windows-x86_64安装包并解压
    在这里插入图片描述
    修改 config/kibana.yml
    将默认配置改成如下：
    server.port：5601(默认)
    server.host: 本机ip(默认localhost)
    elasticsearch.url: es地址
    在这里插入图片描述

  • 启动kibana
    双击bin目录下的kibana.bat启动即可。

  • 访问
    http://ip地址:5601
    在这里插入图片描述

Kibana 实现增删改查

  • 创建索引
    PUT /lnh
    在这里插入图片描述

  • 查询索引
    GET /lnh
    在这里插入图片描述

  • 添加文档 /索引名称/类型/id

 PUT /lnh/user/1
 {
	"user":"lnh",
	"sex":"0",
	"age":"23"
 }

在这里插入图片描述

  • 查询文档
    GET /lnh/user/1
    在这里插入图片描述
  • 删除索引
    DELETE /lnh
    在这里插入图片描述
    之后查询
    在这里插入图片描述

调用RestFul创建文档

  • 查询指定数据
    http://192.168.15.130:9200/lnh/user/1
    在这里插入图片描述
  • 查询某类型的全部文档

http://192.168.15.130:9200/lnh/user/_search
在这里插入图片描述

高级查询

  • 根据id进行查询
    GET /lnh/user/1
  • 查询当前所有类型的文档
    GET /lnh/user/_search
    在这里插入图片描述
  • 根据多个ID批量查询
    查询多个id分别为1、2
    GET /lnh/user/_mget
{
"ids":["1","2"]
}
    在这里插入图片描述
  • 复杂条件查询
    查询年龄为23岁的
    GET /lnh/user/_search?q=age:23
    在这里插入图片描述
    查询年龄20-30岁之间的
    GET /lnh/user/_search?q=age[20 TO 30]
    注意： TO一定要大写
    在这里插入图片描述
    查询年龄20-30岁之间的，从0条数据到1条数据
    GET /lnh/user/_search?q=age[20 TO 30]&from=0&size=1
    在这里插入图片描述

DSL语言查询与过滤

什么是DSL语言

es中的查询请求有两种方式，一种是简易版的查询，另外一种是使用JSON完整的请求体，叫做结构化查询(DSL)。

示例
  • 根据名称精确查询姓名
 GET /lnh/user/_search
 {
   "query":{
		"term":{
			"user":"zfl"
		}
	}
 }

在这里插入图片描述
说明：term是代表完全匹配，不进行分词器分析，文档中必须包含整个搜索的词汇。为精确搜索

  • 根据名称模糊查询
 GET /lnh/user/_search
 {
    "from":0,
    "size":2,
    "query":{
		"match":{
			"user":"partner"
		}
	}
 }

在这里插入图片描述
说明：match在匹配时会对所查找的关键词进行分词，然后按分词匹配查找，一般用于模糊查询。

term与match的区别
  • term查询不会对字段进行分词，会采用精确匹配。
  • Match会根据该字段的分词器，进行分词查询。

使用filter过滤年龄

/lnh/user/_search
{
	"query":{
		"bool":{
			"must":[
				{
					"match_all":{}
				}
			],
			"filter":{
				"range":{
					"age":{
						"gte":20,
						"lte":30
					}
				}
			}
		}
	},
	"from":0,
	"size":10,
	"_source":["user","age"]
}

在这里插入图片描述
说明：_source表示指定返回哪些字段

分词器

什么是分词器

因为Elasticsearch中默认的标准分词器对中文分词不是很友好，会将中文词语拆分成一个一个中文的汉子。因此引入中文分词器(ik插件)。

  • 默认标准分词器
    在这里插入图片描述
安装ik分词器

下载地址： https://github.com/medcl/elasticsearch-analysis-ik/releases
注意：ik分词器插件版本要与es版本保持统一。

  • 解压后的文件目录
    在这里插入图片描述
  • 在es安装目录下plugins目录下新建一个ik目录
  • 将解压后的文件复制到plugins/ik目录下
  • 重新启动es
    在这里插入图片描述
    说明：
    • ik_max_work：对讲文本做最细粒度的拆分，比如会将"中华人民共和国国歌"拆分成为"中华人民共和国，中华人民，中华，华人，人民共和国，人民，人，民，共和国，共和，和，国歌"，会穷尽各种可能的组合。
    • ik_smart：会做最粗粒度的拆分，比如会将"中华人民共和国国歌"拆分为"中华人民共和国，国歌"。
自定义扩展词典
  • 在es安装目录下plugins/ik/config目录下新建custom目录，并创建new_word.dic文件
    在这里插入图片描述
  • 向new_word.dic文件中添加自定义词汇
    在这里插入图片描述
  • 修改 config/IKAnalyzer.cfg.xml文件，将自定义的扩展字典位置填充

在这里插入图片描述

文档映射

介绍

已经把Elasticsearch的核心概念和关系数据库做了一个对比，索引（index）相当于数据库，类型（type）相当于数据库表，映射（mapping）相当于数据表的表结构。Elasticsearch中的映射（mapping）用来定义一个文档，可以定义所包含的字段以及字段的类型、分词器及属性等。
文档映射就是给文档中的字段指定字段类型、分词器。
使用 GET /lnh2/stu/_mapping

映射的分类
  • 动态映射
    我们知道，在关系数据库中，需要实现创建数据库，然后在该数据库实例下创建数据表，然后才能在该数据库表中插入数据。而Elasticsearch中不需要实现定义映射（mapping），文档写入Elasticsearch时，会根据文档字段自动识别类型，这种机制称之为动态映射。
  • 静态映射
    在Elasticsearch中也可以实现定义好映射，包含文档的各个字段及其类型等，这种方式称之为静态映射。
基础数据类型

  • 字符串
    string，string类型包含text和keyword。
    text：该类型被用来索引长文本，在创建索引前会将这些文本进行分词，转化为词的组合，建立索引。允许es来检索这些词，text不能用来排序和聚合。
    keyword：该类型不需要进行分词，可以被用来检索过滤、排序和聚合，keyword类型只能用本身来进行检索（不可用text分词后的模糊检索）

  • 数值型
    long、integer、short、byte、double、float

  • 日期型
    date

  • 布尔型
    boolean

  • 二进制型
    binary

  • 数组类型
    Array datatype

示例
  • 创建文档类型并且指定类型
	PUT /lnh2
	POST /lnh2/_mapping/stu
	{	
		"properties":{
			"age":{
				"type":"integer"
			},
			"sex":{
				"type":"integer"
			},
			"name":{
				"type":"text",
				"analyzer":"ik_smart",
				"search_analyzer":"ik_smart"
			},
			"home":{
				"type":"keyword"
			}
		}
	}

在这里插入图片描述

  • 获取指定类型的mapping信息
    在这里插入图片描述
  • 获取索引信息
    http://192.168.15.130:9200/lnh2/_settings
    在这里插入图片描述

Elasticsearch集群管理

  • 如何解决高并发
    ES是一个分布式全文检索框架，隐藏了复杂的处理机制，包括分片机制，集群发现，分片负载均衡，请求路由。
  • 基本概念
 - cluster
代表一个集群，集群中有很多的节点，其中有一个为主节点，这个主节点是可以通过选举产生的，
主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，
这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和
整个es集群通信是等价的。
 - shards
代表索引的分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到
不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。
 - replicas
代表索引的副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或
丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。
 - recovery
代表数据恢复或叫做重新分布，es在有节点加入或者退出时会根据机器的负载均衡对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。
  • 核心原理分析
1. 每个索引会被分成多个分片shards进行存储，默认创建索引是分配五个分片进行存储。
每个分片都会分布式部署在多个不同的节点上进行存储，该分片成为primary shards。
主分片定义好后，后面不能做修改。原因是在查询的时候，根据文档id%主分片数量获取分片位置。
路由算法：shard = hash(routing)%主分片数量。
2. 每一个主分片为了实现高可用，都会有自己对应的备份分片，主分片对应的备份分片不能存放在同一台服务器
上。主分片primary shards可以和其他replicas shards存放在一个Node节点上。

假设主分片3 备份1 主分片3个，每个主分片对应1个备份分片=3*2=6
   主分片3 备份2 主分片3个，每个主分片对应的2个备份分片=3*3=9

Es集群环境搭建

  • 准备三台服务器集群

    服务器名称    IP地址
node-0      192.168.15.130
node-1      192.168.15.131
node-2      192.168.15.132

  • 服务器集群配置修改(每台)

    vi elasticsearch.yml
cluster.name: lnh  ###保证三台服务器节点集群名称相同
node.name: node-0 #### 每个节点名称不一样 其他两台为node-1 ,node-2
network.host: 192.168.15.130 #### 实际服务器ip地址
discovery.zen.ping.unicast.hosts: ["192.168.15.130", "192.168.15.131","192.168.15.132"]##多个服务集群ip
discovery.zen.minimum_master_nodes: 1

  • 启动
    启动每个es，关闭防火墙 systemctl stop firewalld.service

  • 验证
    访问：http://192.168.15.130:9200/_cat/nodes?pretty
    在这里插入图片描述
    *号代表主节点

注意：如果是克隆的机器，请先删除每台的data数据目录，默认在安装目录下data，es启动时会有，可以配置。

该资源汇总于蚂蚁课堂，做一次梳理，都说好记性不如烂笔头。

Elasticsearch集群工作原理
weixin_45653328的博客111
08-30 989
作为一个分布式搜索引擎，能够出色地支持集群模式、动态水平扩容、故障转移等分布式系统特性，这是其作为全文搜索引擎首选的重要原因。本文从零开始描述集群的配置和扩容过程，让你对Elasticsearch集群的工作原理有初步的理解。首先，一个集群时由多个节点组成，同个网络内的节点通过指定加入同一个集群，所有的节点共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。节点分为主节点和数据节点，主节点负责管理协调。
【k8s部署elasticsearch】k8s环境下安装elasticsearch集群和kibana
weixin_56364253的博客
07-11 3526
k8s集群中搭建有elasticsearch服务一般都会用到pvc，但是考虑到有些自建k8s环境下，搭建的共享存储可能会存在稳定性及性能问题，所以这次是通过采用节点亲和性和hostpath来实现，目前的operator的基本都是采用共享存储的方法。本文将根据现有环境及不同需求将elasticsearch集群的搭建采用hostpath+亲和性的权重+多个副本分区的方式来实现数据持久化和高可用
[Elasticsearch] 集群的工作原理 - 第一部分
热门推荐
不忘初心，好好沉淀
11-17 3万+
本文翻译自Elasticsearch官方指南的life inside a cluster一章。 ES就是为高可用和可扩展而生的。扩展可以通过购置性能更强的服务器(垂直扩展或者向上扩展，Vertical Scale/Scaling Up)，亦或是通过购置更多的服务器(水平扩展或者向外扩展，Horizontal Scale/Scaling Out)来完成。 尽管ES能够利用更强劲的
ElasticSearch安装及使用
最新发布
Jiang的博客
03-21 1493
目录一、ElasticSearch 概述二、为什么要使用 ElasticSearch2.1 关系型数据库有什么问题？2.2 ElasticSearch 有什么优势？2.3 倒排索引核心原理三、ES 基础概念3.1 文档和字段3.2 索引和映射3.3Mysql 与 Elasticsearch3.4 字段数据类型3.5 keyword 类型和 text 类型的区别四 安装及配置1.ES 安装1、安装2、熟悉目录3、启动2.kibaa1、下载地址：2、安装3、启动3.IK 分词器（elasticsearch 插件
Elasticsearch系列-Elasticsearch集群工作原理
10-11 6873
引言 ELasticsearch作为一个分布式搜索引擎，能够出色地支持集群模式、动态水平扩容、故障转移等分布式系统特性，这是其作为全文搜索引擎首选的重要原因。 本文从零开始描述集群的配置和扩容过程，让你对Elasticsearch集群的工作原理有初步的理解。 首先，一个Elasticsearch集群时由多个节点组成，同个网络内的节点通过指定cluster.name加入同一个集群，所有的节点共同承担...
ElasticSearch集群部署和使用
zollty的专栏
01-18 580
Installation 参考文档： https://www.elastic.co/guide/index.html https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html https://www.elastic.co/guide/en/elasticsearch/reference/curren...
ElasticSearch之集群原理
weixin_34068198的博客
05-30 130
ElasticSearch 的主旨是随时可用和按需扩容。 而扩容可以通过购买性能更强大(垂直扩容,或 纵向扩容) 或者数量更多的服务器(水平扩容,或 横向扩容 )来实现。 虽然 ElasticSearch 可以获益于更强大的硬件设备，但是垂直扩容是有极限的。 真正的扩容能力是来自于水平扩容–为集群添加更多的节点，并且将负载压力和稳定性分散到这些节点中。 对于大多数的数据库而言，通常需要对应用程序进...
关于Elasticsearch的认识和搭建以及原理基本的使用
12-16
随着数据量的增长和查询需求的复杂化，Elasticsearch的使用和优化将持续成为信息技术领域的重要话题。无论是初次搭建Elasticsearch环境，还是在现有系统中进行性能优化和功能扩展，了解其原理和熟练运用其功能都至关...
Elasticsearch8+使用（1）：介绍、安装、原理、基本概念
游王子og的博客
07-31 824
Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
【精选】ES集群同步原理_es集群原理
11-10
**ES集群同步原理详解** **一、ES集群基础概念** 1. **Cluster（集群）**：ES集群由多个节点组成，其中一个节点担任主节点（Master Node），负责协调集群中的各种操作，如索引分配、节点状态管理和元数据更新。主...
ElasticSearch集群原理
m0_38140207的博客
07-18 3042
当主节点负载压力过大，或者集中环境中的网络问题，导致其他节点与主节点通讯的时候,主节点没来的及响应，这样的话，某些节点就认为主节点宕机，重新选择新的主节点，这样的话整个集群的工作就有问题了，比如我们集群中有10个节点，其中7个候选主节点，1个候选主节点成为了主节点，这种情况是正常的情况。elasticsearch是允许一个节点既做候选主节点也做数据节点的，但是数据节点的负载较重，所以需要考虑将二者分离开，设置专用的候选主节点和数据节点，避免因数据节点负载重导致主节点不响应。5、脑裂问题成因与解决方案。...
Elasticsearch集群原理
致虚极POLE守静笃
09-25 480
简要介绍 Elasticsearch 在分布式环境中的运行原理， cluster 、 node 、 shard 等常用术语，Elastisearch 的扩容机制， 以及如何处理硬件故障
Elasticsearch 集群原理（一）
moxiong3212的博客
02-20 645
本文来自：[Elasticsearch] 集群的工作原理 - 第一部分 一、什么是ES的集群 由一个或多个相同cluster.name的节点组成，共同承担数据和负载的压力。随着节点被添加到集群，或者从集群中被删除，集群会通过自身调节来将数据均匀分布。 集群中的一个节点会被选为主节点(Master Node)，它负责管理整个集群的变化，如创建或者删除一个索引(Index)，向集群中添加或者删除...
ElasticSearch集群架构原理
m0_60162373的博客
03-29 3843
match查询keyword字段：match将查询数据分词后的信息，需要和keyword字段完全匹配，这条记录才会被查到。 _seq_no:是跟着索引库走的， 如果操作一个文档，他的version和seq_no都会变化，如果操作另一个文档，则另个文档的seq_no会紧接着上一次的变化进行变化，递增。类似于数据库的id。 ...
ES（Elasticsearch）集群内的原理
chenbin1991smile的博客
06-06 878
1.空集群 如果我们启动了一个单独的节点，里面不包含任何的数据和索引，那我们的集群看起来就是一个Figure 1, “包含空内容节点的集群”。 一个运行中的 Elasticsearch 实例称为一个节点，而集群是由一个或者多个拥有相同cluster.name配置的节点组成， 它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。 当一个节点被选举成为主节点时， 它将负责管理集群范围内的所有变更，例如增加、删除索引，或者增加、删除节点等。 ...
ElasticSearch（14）集群原理
учёба
01-11 176
@
搭建Elasticsearch集群之前先看这篇
jiayunfei521的博客
11-09 439
一、为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么。在搭建集群之前，我们首先先问一句，为什么我们需要搭建集群？它有什么优势呢？ （1）高可用性 Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步我们需要保证的就是 Elasticsearch 的高可用性，什么是高可用性呢？它通常是指，通过设计减...
elasticsearch集群安装
迎接小天使
10-28 303
3台机器elasticsearch集群 所需软件： 1.jdk8 2.elasticsearch6.3.2 3.elasticsearch-head 在安装elasticsearch之前，先安装jdk1.8。 集群规划 主机名 角色 备注 192.168.68.128 主节点 node-1 192.168.68.128 从节点 node-2 192.168.68.128 从节点 node-3 一、下载解压安装包 tar -zxvf elasticsearch-6.3.2.tar.
ElasticSearch集群原理与配置详解
"这篇文档详细分析了Elasticsearch的核心原理，特别是其集群的构建和运作机制。集群在Elasticsearch中扮演着至关重要的角色，它是一个P2P系统，...理解这些基本原理对于有效地管理和优化Elasticsearch集群至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陆小叁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值