Elasticsearch - 尚硅谷（5. Elasticsearch 环境）学习笔记

最新推荐文章于 2024-08-05 20:09:42 发布
最新推荐文章于 2024-08-05 20:09:42 发布
阅读量862 收藏 8
点赞数 1
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44449838/article/details/116480032
版权

上一篇：（4. Elasticsearch 基本操作_下）学习笔记

下一篇：（6. Elasticsearch 环境-上）学习笔记

文章目录

1 Windows 集群

1.1 部署集群

  1. 创建 elasticsearch-cluster 文件夹，在内部复制三个 elasticsearch 服务
    在这里插入图片描述
  2. 修改集群文件目录中每个节点的 config/elasticsearch.yml 配置文件

  • node-1001 节点

    #节点 1 的配置信息：
#集群名称，节点之间要保持一致
cluster.name: my-elasticsearch
#节点名称，集群内要唯一
node.name: node-1001
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 1001
#tcp 监听端口
transport.tcp.port: 9301
#discovery.seed_hosts: ["localhost:9301", "localhost:9302","localhost:9303"]
#discovery.zen.fd.ping_timeout: 1m
#discovery.zen.fd.ping_retries: 5
#集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

  • node-1002 节点

    #节点 2 的配置信息：
#集群名称，节点之间要保持一致
cluster.name: my-elasticsearch
#节点名称，集群内要唯一
node.name: node-1002
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 1002
#tcp 监听端口
transport.tcp.port: 9302
discovery.seed_hosts: ["localhost:9301"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

  • node-1003 节点

    #节点 3 的配置信息：
#集群名称，节点之间要保持一致
cluster.name: my-elasticsearch
#节点名称，集群内要唯一
node.name: node-1003
node.master: true
node.data: true
#ip 地址
network.host: localhost
#http 端口
http.port: 1003
#tcp 监听端口
transport.tcp.port: 9303
#候选主节点的地址，在开启服务后可以被选为主节点
discovery.seed_hosts: ["localhost:9301", "localhost:9302"]
discovery.zen.fd.ping_timeout: 1m
discovery.zen.fd.ping_retries: 5
#集群内的可以被选为主节点的节点列表
#cluster.initial_master_nodes: ["node-1", "node-2","node-3"]
#跨域配置
#action.destructive_requires_name: true
http.cors.enabled: true
http.cors.allow-origin: "*"

1.2 启动集群

  1. 启动前先删除每个节点中的 data 目录中所有内容（如果存在）
    在这里插入图片描述
  2. 分别双击执行 bin/elasticsearch.bat, 启动节点服务器，启动后，会自动加入指定名称的
    集群
    在这里插入图片描述

1.3 测试集群

  1. 使用 Postman 测试，查看集群状态
  • node-1001 节点：http://127.0.0.1:1001/_cluster/health
    在这里插入图片描述
  • node-1002 节点: http://127.0.0.1:1002/_cluster/health
    在这里插入图片描述
  • node-1003 节点: http://127.0.0.1:1003/_cluster/health
    在这里插入图片描述
  • 其中：
    • status ：字段指示看当前集群在总体上是否工作正常。它的三种颜色含义如下:
    • green ：所有的主分片和副本分片都正常运行。
    • yellow ： 所有的主分片都正常运行，但不是所有的副本分片都正常运行。
    • red ： 有主分片没能正常运行。
  1. 向集群中的 node-1001 节点增加索引
    在这里插入图片描述
  2. 向集群中的 node-1002 节点查询索引
    在这里插入图片描述

2. Linux 单机

2.1 软件下载

2.2 软件安装

  1. 解压软件

    将下载的软件解压缩

    # 解压缩
tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
# 改名
mv elasticsearch-7.8.0 es

  2. 创建用户

    因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要创建新用户
    在 root 用户中创建新用户

    useradd es #新增 es 用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了，可以删除再加
chown -R es:es /opt/module/es #文件夹所有者

  3. 修改配置文件

  • 修改 /opt/module/es/config/elasticsearch.yml 文件

    # 加入如下配置
cluster.name: elasticsearch
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]

  • 修改 /etc/security/limits.conf

    # 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536

  • 修改 /etc/security/limits.d/20-nproc.conf

    # 在文件末尾中增加下面内容
# 每个进程可以打开的文件数的限制
es soft nofile 65536
es hard nofile 65536
# 操作系统级别对每个用户创建的进程数的限制
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称

  • 修改 /etc/sysctl.conf

    # 在文件中增加下面内容
# 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
vm.max_map_count=655360

  • 重新加载

    sysctl -p

  1. 启动软件

    使用 ES 用户启动

    cd /opt/module/es/
#启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d

    启动时，会动态生成文件，如果文件所属用户不匹配，会发生错误，需要重新进行修改用户和用户组
    在这里插入图片描述
    关闭防火墙

    #暂时关闭防火墙
systemctl stop firewalld
#永久关闭防火墙
systemctl enable firewalld.service #打开放货抢永久性生效，重启后不会复原
systemctl disable firewalld.service #关闭防火墙，永久性生效，重启后不会复原

2.3 测试软件

  • 浏览器中输入地址：http://linux1:9200/
    在这里插入图片描述

3. Linux 集群

3.1 软件下载

3.2 软件安装

  1. 解压软件

    将下载的软件解压缩

    # 解压缩
tar -zxvf elasticsearch-7.8.0-linux-x86_64.tar.gz -C /opt/module
# 改名
mv elasticsearch-7.8.0 es-cluster

    将软件分发到其他节点：linux2, linux3

  2. 创建用户

    useradd es #新增 es 用户
passwd es #为 es 用户设置密码
userdel -r es #如果错了，可以删除再加
chown -R es:es /opt/module/es-cluster #文件夹所有者

  3. 修改配置文件

    修改 /opt/module/es/config/elasticsearch.yml 文件，分发文件

    # 加入如下配置
#集群名称
cluster.name: cluster-es
#节点名称，每个节点的名称不能重复
node.name: node-1
#ip 地址，每个节点的地址不能重复
network.host: linux1
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9200
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["node-1"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["linux1:9300","linux2:9300","linux3:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16

    修改 /etc/security/limits.conf ，分发文件

    # 在文件末尾中增加下面内容
es soft nofile 65536
es hard nofile 65536

    修改 /etc/security/limits.d/20-nproc.conf，分发文件、

    # 在文件末尾中增加下面内容
es soft nofile 65536
es hard nofile 65536
* hard nproc 4096
# 注：* 带表 Linux 所有用户名称

    修改 /etc/sysctl.conf

    # 在文件中增加下面内容
vm.max_map_count=655360

    重新加载

    sysctl -p

  4. 启动软件

    分别在不同节点上启动 ES 软件

    cd /opt/module/es-cluster
#启动
bin/elasticsearch
#后台启动
bin/elasticsearch -d

  5. 测试集群
    在这里插入图片描述

yuan_404
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
elasticsearch-analysis-ik-7.16.2.zip
10-02
《Elasticsearch分词器：elasticsearch-analysis-ik-7.16.2深度解析》 ...理解并熟练掌握IK分词器的使用，能够极大地提升Elasticsearch在中文环境下的检索性能，为大数据分析和信息检索带来显著提升。
elasticsearch-analysis-ik-7.16.3.zip
11-04
在现代大数据分析和搜索引擎领域，Elasticsearch（ES）因其高效、灵活的全文检索能力而备受青睐。然而，对于中文这样的多字节语言，如何准确地进行分词是关键。这时，我们就需要引入专门的中文分词器。本文将详细...
【大数据】hadoop的运行模式（root用户下、尚硅谷Hadoop入门)
YG15165的博客
07-15 2520
Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式了解更多详情👉hadoop官方网站过知识点时只有多敲多练测试案例才能找到学习过程中的bug，yarn相关操作要在hadoop103上进行…完全分布模式的守护进程运行在由多台主机搭建的集群上，是真正的生产环境。在所有的主机上安装JDK和Hadoop，组成相互连通的网络。hadoop运行在多台机器上面，称之为hadoop集群。✍下一任务：HDFS。
Elasticsearch-尚硅谷（8. 优化）学习笔记
圆的博客
05-27 677
上一篇：（7. 进阶-下）学习笔记 文章目录1. 硬件选择2. 分片策略2.1 合理设置分片数2.2 推迟分片分配3 路由选择4 写入速度优化4.1 批量数据提交4.2 优化存储设备4.3 合理使用合并4.4 减少 Refresh 的次数4.5 加大 Flush 设置 1. 硬件选择 Elasticsearch 的基础是 Lucene，所有的索引和文档数据是存储在本地的磁盘中，具体的路径可在 ES 的配置文件…/config/elasticsearch.yml 中配置，如下： #------------
Elasticsearch - 尚硅谷（6. Elasticsearch 进阶-上）学习笔记
圆的博客
05-07 1064
上一篇：（5. Elasticsearch 环境）学习笔记 文章目录1. 核心概念1.1 索引（Index）1.2 类型（Type）1.3 文档（Document）1.4 字段（Field）1.5 映射（Mapping）1.6 分片（Shards）1.7 副本（Replicas）1.8 分配（Allocation）2 系统架构3 分布式集群3.1 单节点集群3.2 故障转移3.3 水平扩容3.4 应对故障4 路由计算 1. 核心概念 1.1 索引（Index） 一个索引就是一个拥有几分相似特征的文档的集合
Elasticsearch-尚硅谷（9. 面试题）学习笔记
圆的博客
05-27 349
上一篇：（8. 优化）学习笔记 文章目录1 为什么要使用 Elasticsearch?2 Elasticsearch 的 master 选举流程？3 Elasticsearch 集群脑裂问题？4 Elasticsearch 索引文档的流程？5 Elasticsearch 更新和删除文档的流程？6 Elasticsearch 搜索的流程？7 Elasticsearch 在部署时，对 Linux 的设置有哪些优化方法？8 GC 方面，在使用 Elasticsearch 时要注意什么？9 Elasticsearc
Elasticsearch - 尚硅谷（2. Elasticsearch 安装）学习笔记
圆的博客
05-01 752
上一篇：（1. 概述）学习笔记 文章目录1. 下载软件2. 安装软件3. 问题解决 1. 下载软件 Elasticsearch 的官方地址：https://www.elastic.co/cn/ Elasticsearch 最新的版本是 7.12.2（截止 2021.5.1），我这里选择的是 7.8.0 版本 下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch Elasticsearch 分为 Linux
Elasticsearch - 尚硅谷（1. 概述）学习笔记
圆的博客
04-29 731
文章目录1. Elasticsearch 是什么2. Lucene、Elasticsearch And Solr1. Lucene2. Elasticsearch And Solr3. Elasticsearch 和 Solr 如何选择 1. Elasticsearch 是什么 Elastic 技术栈（也称为 ELK Stack）包括：包括 Elasticsearch（用于存储、搜索）、Kibana（用于数据展示）、Beats（用于数据采集） 和 Logstash（用于数据传输）。 ELK 能够安全
Elasticsearch-尚硅谷（7. 进阶-下）学习笔记
圆的博客
05-26 664
上一篇：（6. Elasticsearch 环境-上）学习笔记 文章目录9. Kibana 9. Kibana Kibana 是一个免费且开放的用户界面，能够让你对 Elasticsearch 数据进行可视化，并让你在 Elastic Stack 中进行导航。你可以进行各种操作，从跟踪查询负载，到理解请求如何流经你的整个应用，都能轻松完成。 下载地址：https://artifacts.elastic.co/downloads/kibana/kibana-7.8.0-windows-x86_64.zip
Elasticsearch - 尚硅谷（3. Elasticsearch 基本操作_上）学习笔记
圆的博客
05-06 2159
上一篇：（2. Elasticsearch 安装）学习笔记 文章目录1. 1.
Elasticsearch - 尚硅谷（4. Elasticsearch 基本操作_下）学习笔记
圆的博客
05-06 900
上一篇：（3. Elasticsearch 基本操作_上）学习笔记 文章目录3.5 Java API 操作3.5.1 搭建环境3.5.2 创建客户端对象3.5.3 索引操作3.5.4 文档操作3.5.5 高级查询 3.5 Java API 操作 Elasticsearch 软件是由 Java 语言开发的，所以也可以通过 Java API 的方式对 Elasticsearch 服务进行访问 3.5.1 搭建环境 在 IDEA 中创建一个 Maven 依赖 修改 Pom.xml <depend
elasticsearch-analysis-ik-7.17.0
02-10
5. **elasticsearch-analysis-ik-7.17.0.jar**：核心插件库，包含了IK分析器的所有功能代码，负责对中文文本进行分词处理。 6. **plugin-security.policy**：插件的安全策略文件，定义了插件运行时的权限限制，保障...
elasticsearch-head-compile-after.tar.gz+node-v8.1.2-linux-x64.ta
03-20
用户在使用前需要先解压，然后根据项目文档指示，安装必要的依赖，配置环境，最后启动Node.js服务来运行Elasticsearch-Head。 总的来说，这个压缩包提供了用于管理和监控Elasticsearch集群的前端工具，以及运行这个...
windows版本ES7.17.3中文分词器elasticsearch-analysis-ik-7.17.3 .zip
02-05
用于elasticsearch7.17.3这个版本的ik中文分词器，考虑到官网有时网络不稳定下载不下来，这里特意上传，方便大家使用； 目录结构如下： config -- 文件夹 plugin-security.policy plugin-descriptor.properties ...
ubantu-elasticsearch
zwm_yy的博客
08-05 345
2.添加elasticsearch到APT源列表。7.验证elasticsearch是否运行。5.启动elasticsearch服务。4.安装elasticsearch。
一文了解K8S（Kubernates）
最新发布
mqiqe的专栏
08-05 849
一文让你全面了解K8s，全称 Kubernetes，是一个用于管理容器的开源平台。
使用 `git-filter-repo` 删除 Git 敏感信息
奶萝卜的博客
08-02 1039
另外一个比较好的做法是，在replacements.txt里增大匹配的难度,缩小替换的范围，比如，假设我们只是想修改application.yml里的配置，那其实可以在Password左侧加上其对应的key，那这样可以减少替换范围。切记，这个过程中，你当前项目里所有的replacements.txt里出现的文本都会被替换，不仅仅是你的历史提交记录，也包括你的当前的分支。是一个非常灵活的开源工具，可以从整个 Git 仓库历史中移除敏感信息和大文件（blobs），而不仅仅是最后的提交。
easyexcel读文件入批量入es
zhanghe687的博客
08-02 249
easyexcel读文件入批量入es
elasticsearch-7.12.0-py2.py3-none-any.whl
07-27
elasticsearch-7.12.0-py2.py3-none-any.whl 是 Elasticsearch 的 Python 客户端库的一个安装文件。Elasticsearch 是一个开源的实时分布式搜索和分析引擎，用于处理大规模数据集。它提供了一个简单可扩展的 RESTful API 接口，允许用户进行高效的数据搜索、分析以及存储。 这个安装文件的命名规则是根据 Python 的支持版本以及可运行平台来命名的。-py2.py3 表示可以同时兼容 Python 2 和 Python 3 版本的代码。-none-any 表示它是一个纯 Python 代码的库，不依赖于特定的操作系统或平台。 通过安装 elasticsearch-7.12.0-py2.py3-none-any.whl，您可以轻松地在您的 Python 环境中使用 Elasticsearch。这个库提供了许多功能，包括连接到 Elasticsearch 实例、执行索引、搜索和分析操作，以及管理和维护 Elasticsearch 的集群和节点。您可以使用这个库来构建各种应用，如全文搜索引擎、实时日志分析等。 要安装 elasticsearch-7.12.0-py2.py3-none-any.whl，您可以使用 pip 工具，在命令行中运行以下命令： ``` pip install elasticsearch-7.12.0-py2.py3-none-any.whl ``` 安装成功后，您就可以在您的 Python 代码中导入 elasticsearch 模块，并开始使用 Elasticsearch 的功能了。 总结：elasticsearch-7.12.0-py2.py3-none-any.whl 是 Elasticsearch 的 Python 客户端库的安装文件，用于连接、操作和管理 Elasticsearch 实例。通过安装这个库，您可以在您的 Python 项目中轻松使用 Elasticsearch 的功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yuan_404

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值