Linux 非root用户部署elasticsearch 7.17.23和ik分词器

最新推荐文章于 2024-08-27 23:48:27 发布
最新推荐文章于 2024-08-27 23:48:27 发布
阅读量608 收藏 8
点赞数 8
文章标签： linux elasticsearch ik分词器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42434700/article/details/141603584
版权

文章目录

下载安装包

首先，我们将Elasticsearch安装包和IK分词器插件下载到服务器上。下载路径为/home/cms/bag/es。

cd /home/cms
mkdir bag/es -p
cd bag/es
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.23-linux-x86_64.tar.gz
wget https://release.infinilabs.com/analysis-ik/stable/elasticsearch-analysis-ik-7.17.23.zip

环境

在实际部署环境中，我们有三台服务器，分别为master、node01和node02。IP地址如下：

IP主机名
192.168.10.1master
192.168.10.2node01
192.168.10.3node02

安装JDK（三台）

Elasticsearch 依赖于 Java 环境，因此需要在所有节点上安装 JDK。安装后需配置环境变量，以确保 Java 能够正确运行。

cd /home/cms/bag/es
tar xf jdk.tar.gz
cd /home/cms/app
mv ../bag/es/jdk1.8.0_221 ./jdk
# 添加环境变量
[cms@localhost app]$ cat /home/cms/.bashrc 
...
export JAVA_HOME=/home/cms/app/jdk
export PATH=$JAVA_HOME/bin:$PATH
[cms@localhost app]$ source /home/cms/.bashrc
# 验证 Java 版本
[cms@localhost app]$ java -version
java version "1.8.0_221"
Java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode)
[cms@localhost app]$

注解

在这里，你可以使用tar命令解压缩JDK压缩包，并将其移动到合适的位置。接着，编辑.bashrc文件，设置Java环境变量。确保使用source命令让新的环境变量生效，并通过java -version验证是否安装成功。

安装supervisor（三台）

supervisor 是一个进程管理工具，可以确保 Elasticsearch 在系统重启后自动启动，并在异常退出时自动重启。

sudo yum install -y supervisor
sudo sed -i  's#minfds=1024#minfds=65535#g' /etc/supervisord.conf
sudo systemctl enable supervisord
sudo systemctl start supervisord 
sudo systemctl status supervisord

注解

这里我们使用yum安装supervisor，并将默认的文件描述符限制从1024修改为65535，以适应高并发场景。systemctl 命令用于启动和启用supervisord，确保它开机自启并立即启动。

环境初始化（三台）

为保证高并发处理性能，我们需要调整系统的文件描述符和进程数限制。通过编辑/etc/security/limits.conf文件，可以增加这些系统资源的限制。

[cms@master supervisor]$ sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 131072
* soft nproc 65535
* hard nproc 65535

同样，为了优化内核参数，我们修改了/etc/sysctl.conf文件。

# 控制系统在使用SWAP的频率，0表示除非内存不足，否则不使用SWAP
vm.swappiness = 0

# 设置ARP邻居表项超时的时长为120秒
net.ipv4.neigh.default.gc_stale_time = 120

# 禁用对所有接口的源地址验证
net.ipv4.conf.all.rp_filter = 0

# 禁用默认接口的源地址验证
net.ipv4.conf.default.rp_filter = 0

# 控制ARP报文的发送行为。值为2时，系统更倾向于在同一网络中发送ARP请求
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2

# 控制TCP连接的TIME_WAIT状态槽的最大数量
net.ipv4.tcp_max_tw_buckets = 5000

# 启用TCP SYN Cookies，用于防御SYN洪泛攻击
net.ipv4.tcp_syncookies = 1

# 设置TCP SYN请求的最大队列长度，避免TCP SYN洪泛攻击
net.ipv4.tcp_max_syn_backlog = 1024

# 设置在重新发送TCP SYNACK包之前的重试次数，默认是5，这里设置为2以加快失败连接的检测
net.ipv4.tcp_synack_retries = 2

# 禁用回环接口的IPv6支持
net.ipv6.conf.lo.disable_ipv6 = 1

# 启用系统请求按键功能，允许执行紧急命令
kernel.sysrq = 1

# 设置进程能够映射的最大内存区域数目，通常需要增加该值以支持大型应用
vm.max_map_count = 262144

别忘了使用sudo sysctl -p命令使配置生效。

注解

这些配置项调整了文件描述符、进程限制以及内核的一些重要参数，适用于需要处理大量并发连接的场景，尤其是Elasticsearch这种面向大数据的搜索引擎。vm.swappiness 设为 0 可以减少系统使用SWAP的频率，从而提升性能。

部署 Elasticsearch（三台）

解压

在每台服务器上，我们将下载好的Elasticsearch安装包进行解压，并将其放置到指定的应用目录中。

[cms@node01 es]$ tar xf elasticsearch-7.17.23-linux-x86_64.tar.gz 
[cms@node01 es]$ cd ../../app/
[cms@node01 app]$ mv ../bag/es/elasticsearch-7.17.23 ./elasticsearch

配置 elasticsearch.yml

在每台服务器上，编辑elasticsearch.yml文件。这里我们主要修改了network.host、discovery.seed_hosts、cluster.initial_master_nodes等参数，以便配置集群环境。

  • 192.168.10.1（master）
  • 192.168.10.2（node01）
  • 192.168.10.3（node02）

192.168.0.1

cluster.name: ela
# Elasticsearch集群的名字，所有节点必须使用相同的集群名称才能加入集群。

node.name: es01-al
# 节点的名字，便于识别该节点。

node.master: true
# 设置该节点是否可以作为集群的主节点（Master Node）。

node.data: true
# 设置该节点是否用于存储数据。如果是数据节点，该值应为true。

path.data: /home/cms/app/elasticsearch/data/data
# 指定Elasticsearch存储数据的路径。

path.logs: /home/cms/app/elasticsearch/logs/
# 指定Elasticsearch存储日志文件的路径。

bootstrap.memory_lock: false
# 控制是否锁定内存，避免内存被交换到磁盘上。设置为true可以提高性能，但需要配置系统以允许锁定内存。

network.host: 192.168.10.1
# Elasticsearch监听的网络地址，通常是服务器的IP地址。

network.tcp.no_delay: true
# 启用TCP_NODELAY选项，禁用TCP的Nagle算法，以减少延迟。

network.tcp.keep_alive: true
# 启用TCP的keep-alive选项，保持长时间没有通信的连接活跃。

network.tcp.reuse_address: true
# 启用SO_REUSEADDR选项，允许重新绑定地址，通常在服务器重启时使用。

network.tcp.send_buffer_size: 128mb
# 设置发送TCP数据的缓冲区大小。

network.tcp.receive_buffer_size: 128mb
# 设置接收TCP数据的缓冲区大小。

transport.tcp.port: 9300
# 集群间通信使用的TCP端口，通常默认使用9300。

transport.tcp.compress: true
# 启用集群内部通信的压缩功能，减少带宽占用。

http.max_content_length: 200mb
# 设置通过HTTP传输的最大内容长度，通常用于限制最大请求或响应的大小。

http.cors.enabled: true
# 启用跨域资源共享（CORS），允许浏览器跨域请求Elasticsearch。

http.cors.allow-origin: "*"
# 允许的跨域请求源，"*"表示允许所有来源。

http.port: 9200
# Elasticsearch HTTP服务监听的端口，通常默认使用9200。

discovery.seed_hosts: ["192.168.10.1:9300", "192.168.10.2:9300", "192.168.10.3:9300"]
# 用于发现集群中其他节点的地址，Elasticsearch使用这些地址启动时加入集群。

cluster.initial_master_nodes: ["192.168.10.1:9300", "192.168.10.2:9300", "192.168.10.3:9300"]
# 在集群首次启动时，设置可以作为候选主节点的节点列表，确保能正确选举出主节点。

cluster.fault_detection.leader_check.interval: 15s
# 定义主节点检测其他节点状态的间隔时间。设置为15秒。

discovery.cluster_formation_warning_timeout: 30s
# 当集群形成过程中遇到问题时，触发警告的超时时间，设置为30秒。

cluster.join.timeout: 30s
# 设置节点加入集群的最大超时时间，超时后认为加入失败。

cluster.publish.timeout: 90s
# 定义主节点在选举结果、集群状态变更等信息发布时的超时时间，设置为90秒。

cluster.routing.allocation.cluster_concurrent_rebalance: 32
# 设置集群允许同时进行的分片重新平衡的最大数量，32表示允许并发重新平衡32个分片。

cluster.routing.allocation.node_concurrent_recoveries: 32
# 定义每个节点允许同时进行的数据恢复操作的最大数量。

cluster.routing.allocation.node_initial_primaries_recoveries: 32
# 定义节点启动时允许并发恢复的初始主分片的数量，通常用于加速启动时的恢复过程。

192.168.10.2

cluster.name: ela
node.name: es02-al
node.master: true
node.data: true
path.data: /home/cms/app/elasticsearch/data/data
path.logs: /home/cms/app/elasticsearch/logs/
bootstrap.memory_lock: false
network.host: 192.168.10.2
network.tcp.no_delay: true
network.tcp.keep_alive: true
network.tcp.reuse_address: true
network.tcp.send_buffer_size: 128mb
network.tcp.receive_buffer_size: 128mb
transport.tcp.port: 9300
transport.tcp.compress: true
http.max_content_length: 200mb
http.cors.enabled: true
http.cors.allow-origin: "*"
http.port: 9200
discovery.seed_hosts: ["192.168.10.1:9300", "192.168.10.2:9300", "192.168.10.3:9300"]
cluster.initial_master_nodes: ["192.168.10.1:9300", "192.168.10.2:9300", "192.168.10.3:9300"]
cluster.fault_detection.leader_check.interval: 15s
discovery.cluster_formation_warning_timeout: 30s
cluster.join.timeout: 30s
cluster.publish.timeout: 90s
cluster.routing.allocation.cluster_concurrent_rebalance: 32
cluster.routing.allocation.node_concurrent_recoveries: 32
cluster.routing.allocation.node_initial_primaries_recoveries: 32

192.168.10.3

cluster.name: ela
node.name: es03-al
node.master: true
node.data: true
path.data: /home/cms/app/elasticsearch/data/data
path.logs: /home/cms/app/elasticsearch/logs/
bootstrap.memory_lock: false
network.host: 192.168.10.3
network.tcp.no_delay: true
network.tcp.keep_alive: true
network.tcp.reuse_address: true
network.tcp.send_buffer_size: 128mb
network.tcp.receive_buffer_size: 128mb
transport.tcp.port: 9300
transport.tcp.compress: true
http.max_content_length: 200mb
http.cors.enabled: true
http.cors.allow-origin: "*"
http.port: 9200
discovery.seed_hosts: ["192.168.10.1:9300", "192.168.10.2:9300", "192.168.10.3:9300"]
cluster.initial_master_nodes: ["192.168.10.1:9300", "192.168.10.2:9300", "192.168.10.3:9300"]
cluster.fault_detection.leader_check.interval: 15s
discovery.cluster_formation_warning_timeout: 30s
cluster.join.timeout: 30s
cluster.publish.timeout: 90s
cluster.routing.allocation.cluster_concurrent_rebalance: 32
cluster.routing.allocation.node_concurrent_recoveries: 32
cluster.routing.allocation.node_initial_primaries_recoveries: 32

每台服务器的配置略有不同，尤其是在network.host和node.name部分。这些参数确保了每个节点在集群中有唯一的标识和正确的网络绑定。

注解

elasticsearch.yml 是 Elasticsearch 的核心配置文件，涵盖了网络、数据路径、集群配置等多方面内容。集群的正确配置依赖于这些参数，因此需确保每个节点的配置项与集群的需求一致。

配置 Supervisor 管理 Elasticsearch

我们通过在/etc/supervisord.d/目录下创建一个新的配置文件来将 Elasticsearch 进程纳入 supervisor 的管理中。这样可以确保它在任何时候都能自动启动并稳定运行。

[program:elasticsearch]
command=/home/cms/app/elasticsearch/bin/elasticsearch
user = cms
autostart=true
autorestart=true
stdout_logfile=/home/cms/app/elasticsearch/logs/appspider.log
stderr_logfile=/home/cms/app/elasticsearch/logs/appspider.log
logfile_maxbytes=50MB 
logfile_backups=10

[cms@master elasticsearch]$ sudo supervisorctl update
[cms@master elasticsearch]$ sudo supervisorctl status
elasticsearch                    RUNNING   pid 5914, uptime 0:00:06
[cms@master elasticsearch]$

通过 supervisorctl update 和 supervisorctl status 可以更新配置并检查进程状态。

注解

通过这种方式，我们无需手动管理 Elasticsearch 的启动和停止，supervisor 可以自动完成这些操作。同时，日志文件也会按照配置定期轮转，防止磁盘空间被耗尽。

部署 IK 分词器(三台)

IK 分词器是中文分词的一个常用插件，特别适用于 Elasticsearch 中的中文全文搜索。

cd /home/cms/bag/es
mkdir ik
unzip elasticsearch-analysis-ik-7.17.23.zip -d ik
cd ik
chmod +x ./*
cd /home/cms/app/elasticsearch/plugins/
mv /home/cms/bag/es/ik ./
sudo supervisorctl restart elasticsearch

测试 IK 分词器

curl -X POST "192.168.10.1:9200/_analyze?pretty" -H 'Content-Type: application/json' -d '{"analyzer":"ik_max_word","text":"中华人民"}'
curl -X POST "192.168.10.2:9200/_analyze?pretty" -H 'Content-Type: application/json' -d '{"analyzer":"ik_max_word","text":"中华人民"}'
curl -X POST "192.168.10.3:9200/_analyze?pretty" -H 'Content-Type: application/json' -d '{"analyzer":"ik_max_word","text":"中华人民"}'

[cms@master logs]$ curl -X POST "192.168.10.1:9200/_analyze?pretty" -H 'Content-Type: application/json' -d '{"analyzer":"ik_max_word","text":"中华人民"}'
{
  "tokens" : [
    {
      "token" : "中华人民",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "中华",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "华人",
      "start_offset" : 1,
      "end_offset" : 3,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "人民",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 3
    }
  ]
}
[cms@master logs]$

注解

我们通过curl命令测试IK分词器的效果。ik_max_word 模式会将文本最大化分词，例如"中华人民"被分为“中华”、“华人”、“人民”等。这个功能非常适合需要精准检索的应用场景。

XMYX-0
关注
  • 8
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
CentOS7 ElasticSearch安装ik分词器
IceStreamLab
04-10 1930
文章目录一）、为ik分词器的安装准备环境二）、下载ik分词器 注意！要下载和ElasticSearch版本一致的三）、解压ik分词器安装包四）、重新启动ElasticSearch五）、查看是否安装成功 ik分词器 GitHub地址 一）、为ik分词器的安装准备环境 # create plugin folder cd your-es-root/plugins/ && mkdir ik...
Elasticsearch安装、Ik分词器安装、head管理界面安装（Windows && Linux）
Jason World
11-18 1831
Elasticsearch安装与使用(Windows和Linux)
Elasticsearch添加7.17.10IK分词器
weixin_44823875的博客
01-15 746
（5）把这个解压后的文件夹上传至服务器的/opt/elasticsearch/elasticsearch-7.17.10/plugins/analysis-ik下。中未找到7.17.10版本的发布版本，如歌ik版本和Elasticsearch版本不同安装后无法启动。（2）打开解压后文件夹里的pom.xml，修改pom.xml文件中的elasticsearch.version为指定版本。（1）下载elasticsearch-analysis-ik-7.x源码的zip压缩包，并解压。解压这个zip后看一下。
Linux系统配置elasticsearch、kibana、IK分词器
Dalon_G的博客
02-13 1191
tar -xvf elasticsearch-7.17.0-linux-x86_64.tar.gz 1.关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service firewall-cmd --state 2.下载elsticsearch和jdk elsticsearch：https://www.elastic.co/cn/downloads/past-releases jdk：Java Down..
Linux&Windows（ElasticSearch、Ik分词器插件、Kibana可视化）一体安装配置教程 - 7.17.9
技术服务于技术
07-27 795
注：三者版本必须完全一致，并且Elasticsear运行所占内存较大（大概需要5个g的空闲，服务器的内存一定要够。ser :你用来启动elasticsearch的用户 Group：用户所在的组 Type：启动类型。替换为你实际的 Elasticsearch 启动脚本路径（最重要只配置这条，其他可以忽略）
CentOS7安装ElasticSearch7.14.2和ik分词器
XiaoHH的博客
10-18 1330
安装包 安装jdk（参考文章）：https://blog.csdn.net/m0_51510236/article/details/113739345 ElasticSearch: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.2-linux-x86_64.tar.gz ik分词器：https://github.com/medcl/elasticsearch-analysis-ik/releases/downl
linux安装配置Elasticsearch、kibana、ik分词器及安装时遇到的问题
poker_zero的博客
04-20 2722
注意：安装Elasticsearch、kibana、ik分词器版本要一致 安装Elasticsearch Elasticsearch官网：https://www.elastic.co/cn/products/elasticsearch 推荐7.17 7之前安装是需要安装JDK，7之后不需要，因为自带JDK 出于安全考虑，elasticsearch默认不允许以root账号运行，所以需要新建账号，但是新建的账号权限 安装es的步骤 准备工作： 新建账号：useradd es 修改密码：passwd es 1.创
ElasticSearch安装中文分词插件IK Analysis
再现理想
06-01 378
本篇笔记记录了ElasticSearch安装中文分词插件IK Analysis，测试分词和测试搜索的过程 相关笔记： CentOS6.9使用RPM包安装ElasticSearch CentOS6.9安装ElasticSearch 安装IK 方法1：下载预编译包 wget -c https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.6.0/elasticsearch-analysis-ik-6.6.0.zip 创建.
ElasticSearch7.x 从部署到开发
lunatic__的博客
02-18 362
ElasticSearch7.x SpringBoot项目如何对接ElasticSearc Spring-data-elasticsearch-2.7.5新版api
Linux中的常见命令——用户管理命令
qq_45569925的博客
08-27 292
默认创建用户的时候会在home文件夹下创建一个与用户同名的文件夹【该用户的主目录】，也可以在创建用户的时候设置该用户主目录的名称。【输入的密码是不在控制台显示的，输入完之后直接按回车键即可】使用wgh用户查看root下的文件。【此时的用户是没有密码的】给创建的用户设置密码。查看某个用户是否存在。
虚拟内存和linux（操作系统part1）
linjixia的博客
08-24 618
八股之虚拟内存和Linux部分的笔记。
Linux 线程的控制 互斥与同步
qq_63145217的博客
08-23 952
include //头文件sem_t sem;信号量的类型 信号量的变量。
【Linux】进程｜进程的查看与管理｜创建进程
2202_75331338的博客
08-27 513
❍ 课本概念：程序的一个执行实例，正在执行的程序等❍ 内核观点：担当分配系统资源（CPU时间，内存的实体）简单来说：进程 == PCB(进程控制块) + 进程对应的代码和数据；一个进程对应一个PCB操作系统对进程的管理，最终变成了对链表的增删查改。注意：可执行程序加载到内存不是进程，只是进程对应的代码和数据。
Linux 常用命令 - lsblk 【查看磁盘（块设备）使用情况】
随便转转
08-27 690
lsblk源自于 “list block devices” 的缩写。这个命令用于列出系统中的所有块设备（block devices），比如硬盘、光驱等。它展示块设备的层次结构、大小和挂载点等信息，非常有助于系统管理员理解系统存储结构。
linux 系统性能调优技巧
m0_50641264的博客
08-27 173
【代码】linux 系统性能调优技巧。
【Linux】Linux Bash Shell 教程
最新发布
Young_Pro的博客
08-27 792
Linux bash（Bourne-Again SHell）是一种为GNU操作系统编写的命令行解释器，它是大多数Linux发行版中最常用的shell。Bash提供了一种强大的方式来控制和管理操作系统，支持命令历史记录、别名、管道、重定向、变量、条件判断、循环以及自定义脚本编写等功能，使得用户能够通过简单的命令行指令执行复杂的任务，是系统管理员和开发人员日常工作中的得力工具。
Linux报错：make[2]: *** No rule to make target ‘/usr/local/lib/libopus.a‘
VIFIN的博客
08-27 138
解决报错：make[2]: *** No rule to make target '/usr/local/lib/libopus.a'
Linux信号处理机制基础
qq_62850449的博客
08-27 618
无论一个进程是正常终止还是异常终止，都会通过系统内核向其父进程发送SIGCHLD(17)信号。父进程完全可以在针对SIGCHLD(17)信号的信号处理函数中，异步地回收子进程的僵尸，简洁而又高效。由于父子进程共用终端设备我们需要在vi上进行，开启两个窗口，向子进程发送2号和3号信号。返回值:成功返回原信号处理方式，如果之前未处理过则返回NULL，失败返回SIG_ERR。SIG_IGN -忽略。handler 信号的处理方式，可以如下取值。功能:设置调用进程针对特定信号的处理方式。
elasticsearch7.17.6的 ik分词器下载
01-19
要下载 Elasticsearch 7.17.6 版本的 ik 分词器，你可以按照以下步骤进行操作： 1. 打开 Elasticsearch 官方网站：https://www.elastic.co/cn/products/elasticsearch。 2. 在网站的顶部菜单中，点击 "下载" 选项。 3. 在 "Elasticsearch 下载" 页面上，你可以看到所有 Elasticsearch 的版本。向下滚动页面，找到 "Elasticsearch 7.17.6"。 4. 在 "Elasticsearch 7.17.6" 的版本下，你会看到 "Plugins" 一栏。 5. 在 "Plugins" 一栏中，选择适用于你的操作系统的下载链接。如果你使用的是 Windows，可以选择 "ZIP" 下载链接。 6. 点击所选择的下载链接，等待文件下载完成。 7. 下载完成后，解压缩下载的 zip 文件。 8. 在解压缩得到的文件夹中，你会找到一个名为 "plugins" 的文件夹。 9. 打开 "plugins" 文件夹，进入 "analysis-ik" 文件夹。 10. 在 "analysis-ik" 文件夹中，你会找到一个与 Elasticsearch 版本相匹配的 ik 分词器插件 (例如：elasticsearch-analysis-ik-7.17.6.zip)。 11. 将该插件解压缩到 Elasticsearch 安装文件夹的 "plugins" 文件夹内。 12. 重新启动 Elasticsearch 服务，使分词器生效。 通过以上步骤，你可以成功下载并安装 Elasticsearch 7.17.6 版本的 ik 分词器插件。希望对你有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

XMYX-0

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值