ElasticSearch搜索引擎-6_学习笔记(2021.6.14)

最新推荐文章于 2021-12-31 15:36:45 发布
最新推荐文章于 2021-12-31 15:36:45 发布
阅读量164 收藏 1
点赞数
分类专栏： Java 部署 文章标签： java docker elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44600430/article/details/117888411
版权
Java 同时被 2 个专栏收录
74 篇文章 2 订阅
订阅专栏
部署
15 篇文章 0 订阅
订阅专栏

ElasticSearch搜索引擎-6_学习笔记(2021.6.14)

ElasticSearch集群搭建

前言:

一个 Elasticsearch 集群有一个唯一的名字标识，这个名字默认就 是”elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入 这个集群。

集群中包含很多服务器，一个节点就是其中的一个服务器。作为集群的一部分，它存储 数据，参与集群的索引和搜索功能。 一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色 的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在 这个管理过程中，你会去确定网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点 都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了 若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做 “elasticsearch”的集群中。

在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运 行任何 Elasticsearch 节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的 集群。

1.0 Docker下的ES集群

1.1 创建第一个ES节点

1.1.1 使用目录挂载的方式启动ES

# 先创建一个容器
docker run -id --name=MyElasticSearch01 -p 9200:9200 -p 9300:9300  9337ed510a0c
# 然后copy容器中的需要目录挂载的文件出去
docker cp 067d5060cf6a:/usr/share/elasticsearch/config  /usr/local/zhihao_ElasticSearch_01
docker cp 067d5060cf6a:/usr/share/elasticsearch/config  /usr/local/zhihao_ElasticSearch_01
docker cp 067d5060cf6a:/usr/share/elasticsearch/data  /usr/local/zhihao_ElasticSearch_01

建议使用mkdir的方式创建挂载目录, 例如: mkdir /usr/local/zhihao_ElasticSearch_01 然后在里面创建对应3个名称文件夹

1.1.2 然后复制多2份挂载出来的配置文件

记得给文件夹递归所有权限, 然后记得删除/elasticsearch/data 里面文件夹的全部内容

cp -r /usr/local/zhihao_ElasticSearch_01 /usr/local/zhihao_ElasticSearch_02
cp -r /usr/local/zhihao_ElasticSearch_01 /usr/local/zhihao_ElasticSearch_03

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-02nUFPEe-1623603631998)(https://z3.ax1x.com/2021/06/13/2TeSDf.jpg)]

1.1.3 然后修改所有的配置文件

/usr/local/zhihao_ElasticSearch_01/config/elasticsearch.yml

#集群名称
cluster.name: docker-cluster-es
#节点名称，每个节点的名称不能重复
node.name: ES-01
# 设置可以访问的ip,默认为0.0.0.0，这里全部设置通过
network.bind_host: 0.0.0.0
# 设置其它结点和该结点交互的ip地址 (这里为外网IP)          
network.publish_host: 119.29.xxx.xxx
#是不是有资格主节点与数据存储
node.master: true
node.data: true
#设置对外服务的http端口，默认为9200
http.port: 9200
#设置节点之间交互的tcp端口，默认是9300
transport.tcp.port: 9300           
# head 插件需要这打开这两个配置
http.cors.enabled: true
http.cors.allow-origin: "*"
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master 
cluster.initial_master_nodes: ["ES-01","ES-02","ES-03"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["119.29.xxx.xxx:9301","119.29.xxx.xxx:9302"]
gateway.recover_after_nodes: 3
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16

/usr/local/zhihao_ElasticSearch_02/config/elasticsearch.yml

#集群名称
cluster.name: docker-cluster-es
#节点名称，每个节点的名称不能重复
node.name: ES-02
# 设置可以访问的ip,默认为0.0.0.0，这里全部设置通过
network.bind_host: 0.0.0.0
# 设置其它结点和该结点交互的ip地址  (这里为外网IP)           
network.publish_host: 119.29.xxx.xxx
#是不是有资格主节点与数据存储
node.master: true
node.data: true
#设置对外服务的http端口，默认为9200
http.port: 9201
#设置节点之间交互的tcp端口，默认是9300
transport.tcp.port: 9301           
# head 插件需要这打开这两个配置
http.cors.enabled: true
http.cors.allow-origin: "*"
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master 
cluster.initial_master_nodes: ["ES-01","ES-02","ES-03"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["119.29.xxx.xxx:9300","119.29.xxx.xxx:9302"]
gateway.recover_after_nodes: 3
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16

/usr/local/zhihao_ElasticSearch_03/config/elasticsearch.yml

#集群名称
cluster.name: docker-cluster-es
#节点名称，每个节点的名称不能重复
node.name: ES-03
# 设置可以访问的ip,默认为0.0.0.0，这里全部设置通过
network.bind_host: 0.0.0.0
# 设置其它结点和该结点交互的ip地址 (这里为外网IP)          
network.publish_host: 119.29.xxx.xxx
#是不是有资格主节点与数据存储
node.master: true
node.data: true
#设置对外服务的http端口，默认为9200
http.port: 9202
#设置节点之间交互的tcp端口，默认是9300
transport.tcp.port: 9302           
# head 插件需要这打开这两个配置
http.cors.enabled: true
http.cors.allow-origin: "*"
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master 
cluster.initial_master_nodes: ["ES-01","ES-02","ES-03"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["119.29.xxx.xxx:9300","119.29.xxx.xxx:9301"]
gateway.recover_after_nodes: 3
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16

1.1.4 修改宿主机相关配置文件

# 关闭防火墙 (或者开放相关ES端口)
systemctl status firewalld
systemctl stop firewalld.service  
systemctl disable firewalld.service

修改limits.conf 分发文件
vim /etc/security/limits.conf
在最后添加： *表示所用用户
* hard    nofile   65536
* soft    nofile   65536
* soft    nproc    65536
* hard    nproc    65536

修改20-nproc.conf 分发文件
vim /etc/security/limits.d/20-nproc.conf
在最后添加： *表示所用用户
* hard    nofile   65536
* soft    nofile   65536
* soft    nproc    65536
* hard    nproc    65536

修改sysctl.conf
vim /etc/sysctl.conf
在最后添加
vm.max_map_count=655360

关闭selinux
vim /etc/sysconfig/selinux
将 SELINUX=enforcing 改为 SELINUX=disabled

最终重新加载
sysctl -p

1.1.5 然后删除之前没有目录挂载的容器, 并且以目录挂载的方式启动集群

# 删除
docker rm 067d5060cf6a
# 以目录挂载方式启动 ES-01
docker run -id --name=ES-01 -p 9200:9200 -p 9300:9300 -v /usr/local/zhihao_ElasticSearch_01/config:/usr/share/elasticsearch/config 
-v /usr/local/zhihao_ElasticSearch_01/plugins:/usr/share/elasticsearch/plugins  -v /usr/local/zhihao_ElasticSearch_01/data:/usr/share/elasticsearch/data -e ES_JAVA_OPTS="-Xms128m -Xmx128m" 9337ed510a0c
# 以目录挂载方式启动 ES-02
docker run -id --name=ES-02 -p 9201:9201 -p 9301:9301 -v /usr/local/zhihao_ElasticSearch_02/config:/usr/share/elasticsearch/config -v /usr/local/zhihao_ElasticSearch_02/plugins:/usr/share/elasticsearch/plugins  -v /usr/local/zhihao_ElasticSearch_02/data:/usr/share/elasticsearch/data -e ES_JAVA_OPTS="-Xms128m -Xmx128m" 9337ed510a0c
# 以目录挂载方式启动 ES-03
docker run -id --name=ES-03 -p 9202:9202 -p 9302:9302 -v /usr/local/zhihao_ElasticSearch_03/config:/usr/share/elasticsearch/config -v /usr/local/zhihao_ElasticSearch_03/plugins:/usr/share/elasticsearch/plugins  -v /usr/local/zhihao_ElasticSearch_03/data:/usr/share/elasticsearch/data -e ES_JAVA_OPTS="-Xms128m -Xmx128m" 9337ed510a0c

注意哈, 节点的名称、端口、挂载文件夹路径各不相同

-e ES_JAVA_OPTS="-Xms128m -Xmx128m" 因为云服务器内存过小, 所以配置了内存参数, 这个参数越大ES越快, 默认不配有自动默认值

1.1.6 进行测试

浏览器输入:

http://119.29.xxx.xxx:9200/_cluster/health

http://119.29.xxx.xxx:9200/_cat/nodes

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZtyUz6Ua-1623603632000)(https://z3.ax1x.com/2021/06/14/2T8xHA.jpg)]

遇到的坑:

1.0

启动第二个节点的时候, 查看日志一直报通信异常RemoteTransportException

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WR8MYO2E-1623603632001)(https://z3.ax1x.com/2021/06/14/2T84B9.jpg)]

最终发送是因为, 拷贝配置文件时候, 必须清空data 文件夹下面内容, 让新挂载的容器自动生成对应数据
1

懵懵懂懂程序员
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
elasticsearch学习笔记
03-22
ES操作简单介绍,入门级精通，好好学习
innodb 06 索引-全文检索
xizi_ghq的博客
01-12 190
全文检索 1、倒排索引 两种倒排索引。 inverted file index，其表现形式为{单词，单词所在文档的ID} full inverted index，其表现形式为{单词，(单词所在文档的ID，在具体文档中的位置)} 普通全文检索表：{文档ID，text} 倒排文件索引关联数组：inverted file index{number，单词，单词所在文档的ID} 详细倒排索引关联数组：{number，单词，(单词所在文档的ID，在具体文档中的位置)} innodb全文检索使用的是full invert
ElasticSearch搜索引擎-2_学习笔记2021.4.18)
志豪的博客
04-18 245
ElasticSearch搜索引擎-2_学习笔记(2021.4.18) 前言: RESTful 介绍 , 我们通过RESTful来操作ElasticSearch (所有请求都是通过Postman ) 1.0 Elasticsearch 基本操作 1.1.1 索引操作 1.1.2 创建索引 (请求方式是PUT) 对比关系型数据库，创建索引就等同于创建数据库 (同时也可以在ElasticSearch的head插件中的界面管理中创建) 在 Postman 中，向 ES 服务器发 PUT 请求 ：http
ElasticSearch搜索引擎-4_学习笔记(2021.5.23)
志豪的博客
05-24 652
ElasticSearch搜索引擎-4_学习笔记(2021.5.23) Spring集成ElasticSearch (官网) 前言: Spring Data Elasticsearch 基于 spring data API 简化 Elasticsearch 操作，将原始操作 Elasticsearch 的客户端 API 进行封装 。Spring Data 为 Elasticsearch 项目提供集成搜索引擎。 Spring Data Elasticsearch POJO 的关键功能区域为中心的模型与 E
ElasticSearch搜索引擎-7-核心概念-学习笔记(2021.10.04)
志豪的博客
10-04 222
ElasticSearch搜索引擎-7_核心概念_学习笔记(2021.10.04) ES的核心概念 索引（Index） 一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的 索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必 须全部是小写字母），并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时 候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。 能搜索的数据必须索引，这样的好处是可以提高查询速度，比如：新华字典前面的目录 就是索引
elasticsearch-7.4.2-linux-x86_64.tar.gz
06-30
elasticsearch-7.4.2-linux-x86_64.tar.gz适合jdk1.8版本 解压后直接修改yml文件启动即可使用
elasticsearch-7.6.2-linux-x86_64.tar.gz
04-04
elasticsearch最新版：elasticsearch-7.6.2-linux-x86_64.tar.gz。elastic家族其他产品（含windows、linux版）最新版亦可从我的资源页获取https://download.csdn.net/user/u010887744/uploads，如果没找到你想要的...
Elasticsearch（elasticsearch-8.2.0-linux-x86_64.tar.gz）
05-05
Elasticsearch（elasticsearch-8.2.0-linux-x86_64.tar.gz），适用于Linux x86_64 ：它是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速，近乎实时地存储，搜索和分析大量数据。它通常用作支持具有复杂...
elasticsearch-7.2.0-linux-x86_64.tar.gz
05-06
elasticsearch-7.2.0-linux-x86_64.tar 这个是官网上面下载下来的，官网下载比较慢，有需要的朋友可以在这下载，elasticsearch-7.2.0版本，
最新版linux elasticsearch-7.17.1-linux-x86_64.tar.gz
03-02
最新版linux elasticsearch-7.17.1-linux-x86_64.tar.gz
SpringBoot日期格式化处理(单独与全局)
热门推荐
志豪的博客
04-14 1万+
SpringBoot日期格式化处理(单独与全局) 包括单独,与全局 1. 单独配置 1.1 使用Springboot提供注解方式 springboot默认提供,在需要的字段上使用@JsonFormat(locale = "zh", timezone = "GMT+8", pattern = "yyyy-MM-dd HH:mm:ss") 这个方式每个字段都需要加有点过于麻烦。 1.2. 使用...
SpringBoot集成SpringSecurity完成权限拦截操作
志豪的博客
01-15 1万+
SpringBoot集成 SpringSecurity和JWT 实现认证和授权（一) SpringSecurity(SpringSecurity是一个强大的可高度定制的认证和授权框架，对于Spring应用来说它是一套Web安全标准) JWT(JWT是JSON WEB TOKEN的缩写，它是基于 RFC 7519 标准定义的一种可以安全传输的的JSON对象，由于使用了数字签名，所以是可信任和安全的。...
SpringCloudGateway整合knife4j在线api文档
志豪的博客
04-01 6688
SpringCloudGateway整合knife4j在线api文档 整合官网: (点击打开) 1.User用户微服改造 1.1 添加依赖 <!--knife4j-micro-包含swagger2依赖--> <dependency> <groupId>com.github.xiaoymin</groupId&g...
SpringBoot中使用过滤器和拦截器(Boot项目响应乱码问题解决)
志豪的博客
12-18 2713
SpringBoot中使用过滤器和拦截器(boot项目响应乱码问题解决) 过滤器（Filter）和拦截器（Interceptor）是Web项目中常用的两个功能! Filter：是Servlet规范提供的一种技术（接口）。作用在请求到达目标资源之前，Filter可以拦截请求进行过滤处理，然后放行，那么请求会到达目标资源；作用在响应从服务器发出之前，Filter可以进行过滤处理，然后放行，响应会到达客...
kafka发送自定义消息体(集合,自定义对象)(学习笔记2020.3.25)
志豪的博客
03-25 2280
kafka发送自定义消息体(集合,自定义对象)(学习笔记2020.3.25) 前言: 前几天学习使用kafka一直都是使用对象转换为json字符串在发送的,突然想研究下怎么直接发送自定义(Object)对象。 1. kafka的生产者序列化 首先我的生产者工厂配置序列化代码是: 泛型都是<String,Object> //key与value序列化方式 co...
BootMyBatis_Sql拦截器（自定义注解实现多租户查询）
志豪的博客
01-02 2107
MyBatis拦截器（自定义注解+实现多租户查询） 前言: 公司现有运营管理平台上的功能都要增加多租户, 原本功能都是单租户。 就是要做数据隔离, 登录用户只能看到当前登录用户名下数据, 关键数据表都加了个用户ID字段, 之前的功能都已经写好, 所以就在想怎么在最少改动代码的情况下实现给之前的所有查询增加一个查询条件=值, 后来想到利用mybatis拦截器动态修改sql进行拼接多个查询。 下面就开始利用来进行实现。 (技术框架<mybatis-plus.version>1.4.8<
Sse实现服务端长时间推送消息到客户端(H5)
志豪的博客
12-31 1986
Sse实现服务端长时间推送消息到客户端(H5) 介绍: SseEmitter是SpringMVC(4.2+)提供的一种技术,它是基于Http协议的，相比WebSocket，它更轻量，但是它只能从服务端向客户端单向发送信息。而webscoket 是双通道, 在SpringBoot中我们无需引用其他jar就可以使用。 SSE 最大的特点，可以简单规划为两个 长连接 服务端可以向客户端推送信息 websocket 协议，使用相对复杂默认支持断线重连需要自己实现断线重连文本传输二进制传输支持自定义发送的消
Spring Boot 2.3版本新特性(正常(优雅)停机与分层jar包)
志豪的博客
06-30 1862
Spring Boot 2.3版本新特性 1. 正常(优雅)停机 什么是正常(优雅)停机? 官网翻译: 所有四个嵌入式Web服务器（Jetty，Reactor Netty，Tomcat和Undertow）以及响应式和基于Servlet的Web应用程序均支持正常关机。它作为关闭应用程序上下文的一部分发生，并在停止SmartLifecyclebean 的最早阶段执行。此停止处理使用一个超时，该超时提供一个宽限期，在此宽限期内，现有请求将被允许完成，但新请求将不被允许。不允许新请求的确切方式因所使用的Web服
elasticsearch-7.10.2-darwin-x86_64.tar.gzbaidu
最新发布
10-27
它是Elasticsearch搜索引擎的一个版本，并适用于在darwin（即Mac OS X）操作系统上部署和使用。 Elasticsearch是一种开源的分布式搜索和分析引擎，它以高效、可靠和可扩展的方式存储、搜索和分析数据。它使用倒排...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

懵懵懂懂程序员

如果节省了你的时间, 请鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值