elasticsearch集群安装

最新推荐文章于 2024-09-21 14:56:13 发布

CWeeYii

最新推荐文章于 2024-09-21 14:56:13 发布

阅读量739

点赞数

分类专栏： elasticsearch 文章标签： elasticsearch

本文链接：https://blog.csdn.net/cweeyii/article/details/71055884

版权

elasticsearch 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1.假设已经准备了三台linux机器（可以采用虚拟机virtualbox安装，并且以桥接方式配置网络，使得三台linux机器都有不同的局域网ip）。在每台机器的/etc/hosts目录下配置域名映射关系

192.168.31.71 mac1
192.168.31.112 mac2
192.168.31.12 mac3

2.下载elasticsearch安装包（注意最好不要下载最新版本，因为新版有些插件不支持）
本文使用的是elasticsearch-2.4.4版本
https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.4.4/elasticsearch-2.4.4.tar.gz

3.安装elasticsearch插件

scp 192.168.31.19:/Users/Mac/Downloads/elasticsearch-2.4.4.tar.gz ./
tar -xvf elasticsearch-2.4.4.tar.gz
cd elasticsearch-2.4.4/bin
plugin install mobz/elasticsearch-head
ls ../plugins/ #可见head文件夹
sudo apt-get install git #安装git软件
git --version #检查安装是否成功
sudo apt-get install maven
mvn -version #检查mvn安装是否成功
git clone https://github.com/medcl/elasticsearch-analysis-ik.git #下载ik项目
cd elasticsearch-analysis-ik
git fetch origin 2.x:2.x #到2.x分支对应2.4.x的elasticsearch
mvn package
copy and unzip target/releases/elasticsearch-analysis-ik-{version}.zip to your-es-root/plugins/ik
restart elasticsearch

PS：在安装ik的时候，最好的方式是下载到本地机器，然后mvn package之后上传到所有ik的插件安装包中。
mac@mac3 : head  ik #有两个插件包

4.配置elasticsearch集群

cluster.name: elasticsearch-cluster #配置集群名
node.name: node-mac3 #集群中机器名
path.data: /home/mac/SoftWare/elasticsearch-2.4.4/log/data #数据索引存储位置
path.logs: /home/mac/SoftWare/elasticsearch-2.4.4/log/logs #操作日志目录
network.host: 0.0.0.0 #该节点与其他节点交互的ip，写本机地址即可
http.port: 9200 # 网页控制台端口
discovery.zen.ping.unicast.hosts: ["192.168.31.12"] #集群启动时的master节点，在集群启动时需要先启动master节点。
#node.master: true #配置是否是可以参与master节点的选举过程，设置为true不表示该节点为master节点，master节点负责数据的建立和查询
#node.data: true #配置该节点是否存储数据，并提供查询服务。 这两个值默认都为true.

其他机器的elasticsearch复制上面的配置，只需要改变node.name的名字即可。

mkdir log/data 
mkdir log/logs

启动elasticsearch集群：先启动master服务器
mac@mac3:~/SoftWare/elasticsearch-2.4.4/bin$ ./elasticsearch -d

5.建立ES索引结构
访问地址：http://192.168.31.12:9200/_plugin/head/ 机器中任意一台机器的ip都可以。

POST /wdc_core_word_index
{
   "settings": {
      "index": {
         "number_of_replicas": "2",
         "number_of_shards": "4"
      }
   },
   "mappings": {
      "wdc_core_word": {
         "_all": {
            "enabled": false
         },
         "properties": {
            "wdcId": {
               "type": "long"
            },       
            "coreWord": {
               "type": "string",
               "analyzer": "ik_max_word"
            },
            "coreWordTerm": {
               "type": "string",
               "index": "not_analyzed"
            },
            "cityLocationId": {
               "type": "long"
            },
            "valid": {
               "type": "long"
            }
         }
      }
   }
}
建立索引后的效果

这里写图片描述
索引建立后的效果图：其中五星表示master节点，实心表示是data节点会处理查询请求。

6.elasticsearch中节点类型信息
在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。
默认情况下，elasticsearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。
这些功能是由两个属性控制的。
node.master和node.data
默认情况下这两个属性的值都是true。
下面详细介绍一下这两个属性的含义以及不同组合可以达到的效果。
node.master：这个属性表示节点是否具有成为主节点的资格
注意：此属性的值为true，并不意味着这个节点就是主节点。
因为真正的主节点，是由多个具有主节点资格的节点进行选举产生的。
所以，这个属性只是代表这个节点是不是具有主节点选举资格。
node.data：这个属性表示节点是否存储数据。
这两个属性可以有四种组合：

node.master: true node.data: true 这种组合表示这个节点即有成为主节点的资格，又存储数据，这个时候如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。elasticsearch默认每个节点都是这样的配置，这样相当于主节点和数据节点的角色混合到一块了。
node.master: false node.data: true这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。这个节点我们称为data(数据)节点。在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务。
node.master: true node.data: false这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。这个节点我们称为master节点，其主要功能是用于keepalive功能来进行服务发现。
node.master: false node.data: false这种组合表示这个节点即不会成为主节点，也不会存储数据，这个节点的意义是作为一个client(客户端)节点，主要是针对海量请求的时候可以进行负载均衡。client节点负责查询结果的二次聚合过程。
在一个生产集群中我们可以对这些节点的职责进行划分。
建议集群中设置3台以上的节点作为master节点【node.master: true node.data: false】
这些节点只负责成为主节点，维护整个集群的状态。
再根据数据量设置一批data节点【node.master: false node.data: true】
这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大
所以在集群中建议再设置一批client节点【node.master: false node.data: false】
这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。
master节点：普通服务器即可(CPU 内存消耗一般)
data节点：主要消耗磁盘，内存
client节点：普通服务器即可(如果要进行分组聚合操作的话，建议这个节点内存也分配多一点)

7.测试集群新机器的自动发现和选主过程