ElasticSearch学习笔记(8)· ES集群的搭建

十三、集群的实现

1、相关概念

集群(cluster)

一个集群就是由一个或多个节点组织在一起,他们共同持有你整个的数据,并一起提供索引和搜索功能,一个集群由一个唯一的名字标识,这个名字默认就是elasticsearch,这个名字是重要的,因为一个节点之恶能通过指定某个集群的名字,来加入这个集群,在产品环境中显式地设定这个名字是一个好习惯,但是使用默认值来进行测试/开发也是不错的

节点(node)

一个节点是你集群中的一个服务器,作为集群的一部分,他存储你的数据,参与集群的索引和搜索功能,和集群类似,一个节点也是由一个名字来标识,默认情况下,这个名字是一个随机的漫威漫画角色的名字,这个名字会在启动的时候赋予节点,这个名字对于管理工作来说挺重要的,因为在这个管理过程中,你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点

一个节点可以通过配置集群名字的方式加入一个指定的集群,默认情况下,每个节点都会被安排加入到一个叫"elasticsearch"的集群中,这意味着,如果你在你的网络中启动了若干个节点,并假定他们能够相互发现彼此,他们将会自动地形成并加入到一个叫做“elasticsearch”的集群中

在一个集群里,只要你想,可以拥有任意多个节点。而且,如果当前你的网络中没有运行任何elasticsearch节点,这时启动一个节点,会默认创建并加入一个叫做"elasticsearch"的集群

分配和复制(shards & replicas)

一个索引可以储存超出单个节点硬件限制的大量数据。比如,一个具有10亿文档的索引占据1TB的磁盘空间,而任一节点都没有这样大的磁盘空间,或者单个节点处理搜索请求,相应太慢,为了解决这个问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片。当你创建一个索引的时候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的”索引“,这个"索引"可以被放置到集群中的任何节点上。分片之所以重要,主要由两方面的原因:

允许你水平分割/扩展你的内容容量允许你在分片(潜在地,位于多个节点上)之上进行分布式的、并行的操作,进而提高性能/吞吐量。至于一个分片怎样分布,它的文档怎样聚合回搜索请求,是完全由Elasticsearch管理的,对于用户而言这些都是透明的

在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch允许你创建分片的一份或多分拷贝,这些拷贝叫做复制分片,或者直接叫复制。复制制索引重要,主要由两方面的原因:

在分片/节点失败的情况下,提供了高可用性,因为这个原因,注意到复制分片从不与原/主要(original/primary)分片置于同一节点上是非常重要的。扩展你的搜索量/吞吐量,因为搜索可以在所有的复制分片上并行运行

总之,每个索引可以被分成多个分片,一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了。每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和复制的数量可以在索引创建的时候指定。在索引创建只有,你可以在任何时候动态的改变复制分片,但是不能改变分片的数量

默认情况下,Elasticsearch中每个索引被分成5个分片和1个复制,这意味着,如果你的集群中至少有两个节点,你的索引将会有5个主分片和另外5个复制分片(1个完全拷贝),这样的话每个索引总共就有10个分片,一个索引的多个分片可以存放在集群中的一台主机上,也可以存放在多台主机上,这取决于你的集群机器数量。主分片和复制分片的具体位置是由ES内在的策略所决定的

2、快速搭建集群

这里模拟一台机器开3个不同端口的ES做集群

# 1、原有ES安装包复制三分
  cp -f elasticsearch-6.2.4/ master/
  cp -f elasticsearch-6.2.4/ slave1/
  cp -f elasticsearch-6.2.4/ slave2/

# 2、删除复制目录中data目录
# 注意:由于复制目录之间使用过因此需要在创建集群时将原来数据删除
  rm -rf master/data
  rm -rf slave1/data
  rm -rf slave2/data

# 3、编辑文件夹中config目录中jvm.options文件调整启动内存
# 分别加入:-Xms512m -Xmx512m	设置初始和最大堆内存大小
  vim master/config/jvm.options
  vim slave1/config/jvm.options
  vim slave2/config/jvm.options

# 4、分别修改三个文件夹中config目录中elasticsearch.yml文件
  vim master/config/elasticsearch.yml
  vim slave1/config/elasticsearch.yml
  vim slave2/config/elasticsearch.yml
	#分别修改如下配置
	cluster.name: my-es			#集群名字(三个节点集群名字必须一致)	
	node.name: es-01			#节点名字(节点名称不能一致)
	network.net: 0.0.0.0		#监听端口(开启远程权限,防火墙端口也要开放9200、9300)
	http.port: 9200				#监听端口(其他两台节点9201、9202)
	
	discovery.zen.ping.unicast.hosts: ["192.168.0.1:9301","192.168.0.1:9302"] #其他节点的ip
	gateway.recover_after_nodes: 3		#集群可做master的最小节点数
	transport.tcp.port: 9300			#集群TCP端口(其他节点9301、9302)

# 5、启动多个es
  ./master/bin/elasticsearch
  ./slave1/bin/elasticsearch
  ./slave2/bin/elasticsearch

# 6、查看节点状态
  curl http://192.168.0.1:9200
  curl http://192.168.0.1:9201
  curl http://192.168.0.1:9202

# 7、查看集群健康
  http://192.168.0.1:9200/_cat/health?v

3、安装head插件

# 1、访问github网站
	#搜索:elasticsearch-head 插件
	
# 2、安装git
  yum install git
  
# 3、将elasticserch-head下载到本地
  git clone git://github.com/mobz/elasticsearch-head.git
  
# 4、安装node.js
  #注意:没有wget的请先安装yum install -y wget
  wget https://nodejs.org/dist/v12.13.1/node-v12.13.1-linux-x64.tar.xz
  
# 5、解压缩node.js
  xz -d node-v12.13.1-linux-x64.tar.xz
  tar -xvf node-v12.13.1-linux-x64.tar
  
# 6、配置环境变量
  mv node-v12.13.1-linux-x64 nodejs
  mv nodejs /usr/nodejs
  vim /etc/profile
  		export NODE_HOME=/usr/nodejs
  		export PATH=$PATH:$JAVA_HOME/bin;$NODE_HOME/bin
  source /etc/profile
  
# 7、进入elasticsearch-head的目录
  npm config set registry http://registry.npm.taobao.org	#设置淘宝下载镜像
  npm install
  npm run start

# 8、编写elasticsearch.yml配置文件开启head插件的访问(跨域问题)
  http.core.enabled: true
  http.core.allow-origin: "*"
  
# 9、启动访问head插件,默认端口9100
  http://192.168.0.1	#查看集群状态

ElasticSearch学习笔记(1)· ES基本概念
ElasticSearch学习笔记(2)· 基于Kibana的基本CRUD
ElasticSearch学习笔记(3)· ES高级检索(query)
ElasticSearch学习笔记(4)· ES IK分词器
ElasticSearch学习笔记(5)· Java操作Elasticsearch6.2.4
ElasticSearch学习笔记(6)· Java操作Elasticsearch7.6.1
ElasticSearch学习笔记(7)· Springboot+SpringData操作ES
ElasticSearch学习笔记(8)· ES集群的搭建

  • 0
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值