Elasticsearch 部署学习

最新推荐文章于 2024-07-24 12:24:05 发布
最新推荐文章于 2024-07-24 12:24:05 发布
阅读量275 收藏
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch 部署Elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/D1179869625/article/details/133223054
版权

文章目录

Elasticsearch 部署学习

1. 单节点部署 elasticsearch

1.1 部署 jdk

安装ES之前先安装好jdk,可以简单实用如下命令:

yum install -y java-1.8.0-openjdk.x86_64

或者参考:https://blog.csdn.net/D1179869625/article/details/125491228?ops_request_misc=&request_id=de79eea3684a4ea28adfe9663c700ce2&biz_id=&utm_medium=distribute.pc_search_result.none-task-blog-2blogkoosearch~default-3-125491228-null-null.268v1control&utm_term=jdk&spm=1018.2226.3001.4450

官网下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u80-oth-JPR

1.2 下载 elasticsearch

官网下载地址：https://www.elastic.co/cn/downloads/past-releases

在这里插入图片描述

在这里插入图片描述

1.3 上传文件并修改配置文件

1️⃣ 上传到指定目录下并解压

[root@node2 elasticsearch]# pwd
/data/elasticsearch
[root@node2 elasticsearch]# tar zxvf elasticsearch-7.17.1-linux-x86_64.tar.gz

2️⃣ 新建数据目录

[root@node2 elasticsearch]# cd elasticsearch-7.17.1
[root@node2 elasticsearch-7.17.1]# mkdir data

3️⃣ 修改 elasticsearch.yml 配置文件

# 修改 config 目录下的 elasticsearch.yml 文件
cluster.name                         #集群名称，各节点配成相同的集群名称。
node.name                            #节点名称，各节点配置不同。
node.master                          #指示某个节点是否符合成为主节点的条件。
node.data                            #指示节点是否为数据节点。数据节点包含并管理索引的一部分。
path.data                            #数据存储目录。
path.logs                            #日志存储目录。
bootstrap.memory_lock                #内存锁定，是否禁用交换。
bootstrap.system_call_filter         #系统调用过滤器。
network.host                         #绑定节点IP。
http.port                            #rest api端口。
discovery.zen.ping.unicast.hosts     #提供其他 Elasticsearch 服务节点的单点广播发现功能。(单机部署时如果使用 localhost ,日志会报错“拒绝连接”，修改为IP地址没有报错)
discovery.zen.minimum_master_nodes   #集群中可工作的具有Master节点资格的最小数量，官方的推荐值是(N/2)+1，其中N是具有master资格的节点的数量。
discovery.zen.ping_timeout           #节点在发现过程中的等待时间。
discovery.zen.fd.ping_retries        #节点发现重试次数。
http.cors.enabled                    #是否允许跨源 REST 请求，用于允许head插件访问ES。
http.cors.allow-origin               #允许的源地址。

在这里插入图片描述

在这里插入图片描述

4️⃣ 修改系统配置文件

vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

在这里插入图片描述

vim /etc/sysctl.conf 
vm.max_map_count=655360

# 修改完成执行命令生效
sysctl -p

在这里插入图片描述

1.4 启动

注：es 不允许使用 root 启动，所以需要新建用户

# 新建用户组
groupadd -g 988 elastic

# 新建用户
useradd -u 988  -g 988 elastic

# 查看新建用户信息
id elastic
uid=988(elastic) gid=988(elastic) 组=988(elastic)

# 修改 elasticsearch 目录权限
cd /data
chown -R elastic:elastic elasticsearch

# 切换用户
su - elastic
# 后台启动
cd /data/elasticsearch/elasticsearch-7.17.1/bin
./elasticsearch -d

1.5 问题总结

1️⃣ 没有修改系统配置文件则会报错

现象：

[2023-06-19T19:11:29,573][ERROR][o.e.b.Bootstrap          ] [node-1] node validation exception
[1] bootstrap checks failed. You must address the points described in the following [1] lines before starting Elasticsearch.
bootstrap check failure [1] of [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

解决方法：

vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

vim /etc/sysctl.conf 
vm.max_map_count=655360

# 修改完成执行命令生效
sysctl -p

2️⃣ 当前操作是在多个窗口进行操作， 在一个窗口中一直使用 elastic 用户一直登陆着，在其他窗口中使用 root 修改完成配置文件之后，没有登出 elastic 普通用户，那么使用 elastic 用户在启动时仍然会报错，因为没有重新登陆则获取不到新修改的环境信息。

在这里插入图片描述

1.6 浏览器验证

浏览器输入：192.168.137.130:9200

在这里插入图片描述

2. 集群部署 elasticsearch

当前测试使用三台机器部署 es 集群

# 配置文件参数说明
# 集群名称，可以不用变，所有机器使用同一个名称
cluster.name: my-application

# 每台机器使用不同的名称，其他机器可依次命名为（node-2,node-3）
node.name: node-1

# data 数据目录
path.data: /home/softinstall/elasticsearch-5.2.2/data

# log 日志目录
path.logs: /home/softinstall/elasticsearch-5.2.2/logs

# ES默认bootstrap.system_call_filter为true进行检测，如果当前环境不支持SecComp则启动 es 会报错
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

# 这里填写当前主机的 IP
network.host: 192.168.18.128

# 端口
http.port: 9200

# 集群地址
discovery.zen.ping.unicast.hosts: ["192.168.18.128","192.168.18.129","192.168.18.130"]

# master 的数量，可百度查看参数详细使用情况
discovery.zen.minimum_master_nodes: 2

# 指定master机器的选项（个人理解就是重启之后 master 机器也只会在这两台机器中选择，配合上面 discovery.zen.minimum_master_nodes 参数使用）
cluster.initial_master_nodes: ["node-1", "node-2"]

# ======================== Elasticsearch Configuration =========================
#
# NOTE: Elasticsearch comes with reasonable defaults for most settings.
#       Before you set out to tweak and tune the configuration, make sure you
#       understand what are you trying to accomplish and the consequences.
#
# The primary way of configuring a node is via this file. This template lists
# the most important settings you may want to configure for a production cluster.
#
# Please consult the documentation for further information on configuration options:
# https://www.elastic.co/guide/en/elasticsearch/reference/index.html
#
# ---------------------------------- Cluster -----------------------------------
#
# Use a descriptive name for your cluster:
#
cluster.name: my-application
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
node.name: node-1
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
path.data: /data/elasticsearch/elasticsearch-7.17.1/data
#
# Path to log files:
#
path.logs: /data/elasticsearch/elasticsearch-7.17.1/logs
#
# ----------------------------------- Memory -----------------------------------
#
# Lock the memory on startup:
#
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
#
# Make sure that the heap size is set to about half the memory available
# on the system and that the owner of the process is allowed to use this
# limit.
#
# Elasticsearch performs poorly when the system is swapping the memory.
#
# ---------------------------------- Network -----------------------------------
#
# By default Elasticsearch is only accessible on localhost. Set a different
# address here to expose this node on the network:
#
network.host: 192.168.137.130
#
# By default Elasticsearch listens for HTTP traffic on the first free port it
# finds starting at 9200. Set a specific HTTP port here:
#
http.port: 9200
#
# For more information, consult the network module documentation.
#
# --------------------------------- Discovery ----------------------------------
#
# Pass an initial list of hosts to perform discovery when this node is started:
# The default list of hosts is ["127.0.0.1", "[::1]"]
#
discovery.seed_hosts: ["192.168.137.130","192.168.137.102","192.168.137.103"]
discovery.zen.minimum_master_nodes: 2
#
# Bootstrap the cluster using an initial set of master-eligible nodes:
#
cluster.initial_master_nodes: ["node-1", "node-2"]
#
# For more information, consult the discovery and cluster formation module documentation.
#
# ---------------------------------- Various -----------------------------------
#
# Require explicit names when deleting indices:
#
#action.destructive_requires_name: true
#
# ---------------------------------- Security ----------------------------------
#
#                                 *** WARNING ***
#
# Elasticsearch security features are not enabled by default.
# These features are free, but require configuration changes to enable them.
# This means that users don’t have to provide credentials and can get full access
# to the cluster. Network connections are also not encrypted.
#
# To protect your data, we strongly encourage you to enable the Elasticsearch security features. 
# Refer to the following documentation for instructions.
#
# https://www.elastic.co/guide/en/elasticsearch/reference/7.16/configuring-stack-security.html

启动三台机器，则会自动选举出 master

3. 常用命令

# 查看健康状态
http://ip:9200/_cat/health?v

# 查看集群索引数
http://ip:9200/_cat/indices?pretty

# 查看索引中信息（sysnewses 为索引名）
http://ip:9200/sysnewses/_search

# 集群所在磁盘的分配情况
http://ip:9200/_cat/allocation?v

# 查看集群节点信息
http://ip:9200/_cat/nodes?v

# 查看集群其他信息
http://ip:9200/_cat

4. Elasticsearch kibana安装

1️⃣ 参考部署文档

部署 elasticsearch kibana 参考 es 文档

https://www.elastic.co/guide/cn/kibana/current/setup.html

在这里插入图片描述

2️⃣ 下载对应版本的安装包

  • 使用 Windows 下载

在这里插入图片描述

在这里插入图片描述

下载对应的版本

在这里插入图片描述

  • 使用命令直接下载
# 下载指定版本
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.1-linux-x86_64.tar.gz

# 比较 sha1sum 或 shasum 产生的 SHA 跟 发布 SHA是否一致。用于核实文件的完整性，通常在网络传输文件的过程中，可能造成文件丢失，所以可以用来检查文件传输是否完整。
sha1sum kibana-7.17.1-linux-x86_64.tar.gz
# 668b599ce30a89e936899ba73e5ebde5481d47c4  kibana-7.17.1-linux-x86_64.tar.gz

# 解压
tar -xzf kibana-6.0.0-linux-x86_64.tar.gz
cd kibana/

3️⃣ 修改配置文件

vim /data/kibana-7.17.1-linux-x86_64/config

# 默认值: 5601 Kibana 由后端服务器提供服务，该配置指定使用的端口号。
server.port: 5601
# 默认值: "localhost" 指定后端服务器的主机地址。
server.host: "192.168.137.130"
# 默认值: 1048576 服务器请求的最大负载，单位字节。
server.maxPayload: 1048576
# 默认值: "主机名" Kibana 实例对外展示的名称。
server.name: "demo-elastic"
# ES 集群地址
elasticsearch.hosts: ["http://192.168.137.130:9200"]
# 默认值: ".kibana" Kibana 使用 Elasticsearch 中的索引来存储保存的检索，可视化控件以及仪表板。如果没有索引，Kibana 会创建一个新的索引。
kibana.index: ".kibana"
# elasticsearch.requestTimeout setting 的值，等待 Elasticsearch 的响应时间。(这里设置的较大，机器性能不行，kibana启动较慢)
# 如果使用默认值，则启动时会报错，请求超时。
elasticsearch.pingTimeout: 12000
# 30000 等待后端或 Elasticsearch 的响应时间，单位微秒，该值必须为正整数。(这里设置的较大，机器性能不行，kibana启动较慢)
elasticsearch.requestTimeout: 120000
# Elasticsearch 等待分片响应时间，单位微秒，0即禁用(disabled)
elasticsearch.shardTimeout: 0
# 默认为 en ，修改为中文 zh-CN
i18n.locale: "zh-CN"

4️⃣ 启动 kibana

  • 直接启动
# 进入到安装目录的 bin 目录下
cd /data/kibana-7.17.1-linux-x86_64/bin
# 直接前台启动
 ./kibana
# 使用 Ctrl + c 则可以直接关闭
  • 后台启动（推荐）
# 进入到安装目录的 bin 目录下
cd /data/kibana-7.17.1-linux-x86_64/bin
# 使用 nohup 命令后台启动
# 也可以将日志打印到指定路径下 nohup ./kibana > /data/kibana-7.17.1-linux-x86_64/logs/kibana.log 2>&1 &
nohup ./kibana &
  • 关闭 kibana
ps -ef | grep node | grep -v grep 
elastic    2077   1206  6 15:17 pts/0    00:01:24 ./../node/bin/node ./../src/cli/dist

kill -9 2077

5️⃣ 注意

  1. 将 elasticsearch.pingTimeout 和 elasticsearch.requestTimeout 修改为较大的值，如是使用默认的参数 3000 则在启动时可能是因为机器性能问题导致报错 FATAL TimeoutError: Request timed out “请求超时”
  2. 注意修改 elasticsearch 参数 cluster.initial_master_nodes 内容，如果这里没有配置，则会导致 ES 健康检查有问题，访问 kibana 时提示 “{“error”:{“root_cause”:[{“type”:“master_not_discovered_exception”,“reason”:null}],“type”:“master_not_discovered_exception”,“reason”:null},“status”:503}”

6️⃣ 浏览器访问

浏览器输入 kibana 的 ip:host 即可访问

在kibana6.7之后就开始支持中文，所以这里在配置文件中配置了 i18n.locale: “zh-CN” 参数，界面显示则为中文

在这里插入图片描述

5. kibana 使用教程

…未完待续

 
 
 
 
 

Direct_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch集群模式部署
06-30
学习总结资料
es docker 部署 elasticsearch.yml
03-19
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...
elasticsearch安装部署
m0_62943934的博客
03-18 1745
本文将向您揭示如何部署和管理Elasticsearch，让您能够充分利用其强大的功能，构建出响应迅速且可靠的搜索服务，以应对大规模数据处理的挑战。在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。Elasticsearch作为一款高性能的搜索引擎和分析平台，以其强大的全文搜索功能、实时数据分析能力和水平可扩展性赢得了广泛的应用。IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。
Linux学习笔记——ElasticSearch安装部署
kuaixiao0217的博客
01-07 884
主要介绍了ElasticSearch在Linux系统上的安装部署
ElasticSearch学习记录
yxixiOvo的博客
06-05 891
为什么要使用elasticsearch，在很多网站，我们通常去搜索一条信息都是通过模糊查询去搜索的，但是模糊查询有一个痛点，就是它会去数据库里逐一的把每一条数据都进行扫描然后查询是否包含搜索信息，平时我们可能感觉不到，这要是有数百万条数据，那效率可就特别慢了那我们用elasticsearch就可以解决这个问题了 ，通过名字就可以知道，es主要是用于查询特点：数据存储、分析数据、搜索数据。
安装和部署elasticsearch
jc15274630894的博客
04-20 2842
安装和部署elasticsearch分布式搜索和分析引擎
使用Docker部署elasticsearch
SLQ1893的博客
09-08 6394
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
elasticsearch部署
yxx2313的博客
04-29 410
elasticsearch部署
elasticsearch安装部署教程
ligengqian的博客
12-03 1443
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import p
Elastic Search学习笔记
qq_45676901的博客
10-18 972
ES
ElasticSearch部署实战架构、容量规划优化
热门推荐
LoveSummer
07-31 1万+
本片文章先介绍了es的部署架构，回顾了es节点类型以及它们的配置方式，也了解了不同类型对硬件的要求不一样。然后总结了几种不同的架构模式，比如基础部署、读写分离、冷热分离、异地多活等架构模式，在生产环境中一般我们推荐读写分离架构模式，如果可以最好加上冷热分离，不过配置可能稍微复杂点。对于容量规划与调优，首先要明确存储的数据量和使用场景，推荐内存磁盘比为搜索类比例（116），日志类（148）；比如2T的总数据，搜索如果要保持良好的性能的话，每个节点31*16=496G。每个节点实际有400G的存储空间。...
ES部署手册.docx
06-06
Elasticsearch，简称ES，是一个基于Lucene的开源搜索引擎，设计为分布式、RESTful风格的搜索和数据分析引擎。它能够处理大量的数据，并提供实时分析，适用于日志分析、监控、信息检索等多种场景。Elasticsearch是...
elasticsearch的docker部署文件
07-08
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...
ElasticSearch单节点部署步骤
05-01
在单节点部署中，我们将设置一个独立的Elasticsearch实例，适用于学习、测试或者小型应用。 **一、环境准备** 1. **系统要求**：Elasticsearch支持多种操作系统，如Linux、Windows等。确保系统已安装Java ...
ubantu20.04安装gem5
m0_56836274的博客
07-24 406
在安装gem5时，花了很长时间，主要是遇到一些奇奇怪怪的错误。在此记录一下。
Elasticsearch：Golang ECS 日志记录 - zap
Elastic 中国社区官方博客
07-23 509
ECS 记录器是你最喜欢的日志库的格式化程序/编码器插件。它们可让你轻松地将日志格式化为与 ECS 兼容的 JSON。编码器以 JSON 格式记录日志，并在可能的情况下依赖默认的。它还处理 ECS 错误格式的错误字段记录。
Git处理Failed to connect to www.google.com port 80: Timed out
最新发布
前端小99的博客
07-24 365
输入提交代码命令：git push -u origin master报错：fatal: unable to access '
Manticore Search(es轻量级替代)
m0_37840000的博客
07-23 567
这一切使 Manticore Search 成为一个现代，快速，轻量级和功能齐全的数据库，具有出色的全文搜索功能。它还提供了丰富的查询语法和功能，以满足不同的搜索需求。社交媒体应用： 对于需要实时搜索和过滤大量用户生成的内容的社交媒体应用程序，Manticore也是一个合适的选择。日志分析： 由于其实时索引更新和高性能特性，Manticore适用于处理大规模的日志数据，支持快速的搜索和分析。在线文档搜索： 对于需要在大量文档中进行快速搜索的应用，Manticore可以提供高效的解决方案。
Elasticsearch入门：实战部署与应用案例
在当今的信息时代，Elasticsearch（简称ES）是一个至关重要的开源分布式全文检索引擎，它以Java为基础，利用Lucene作为核心技术，致力于简化搜索引擎的使用，尤其是全文搜索。ES的主要特点包括： 1. **实时性与扩展...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值