ElasticSearch启动流程指令及注意事项

最新推荐文章于 2024-04-29 23:11:31 发布
最新推荐文章于 2024-04-29 23:11:31 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 大数据 文章标签： 操作指南 ElasticSearch ElasticSearch-head Kibana
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZFZF520/article/details/100833710
版权

elasticsearch

es的集群部署
第一步：创建普通用户
注意：ES不能使用root用户来启动，必须使用普通用户来安装启动。这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等
创建一个es专门的用户（必须）
#使用root用户在三台机器执行以下命令

useradd es 
mkdir -p /export/servers/es
chown -R es /export/servers/es
passwd es

第二步：为普通用户es添加sudo权限
为了让普通用户有更大的操作权限，我们一般都会给普通用户设置sudo权限，方便普通用户的操作
三台机器使用root用户执行visudo命令然后为es用户添加权限

visudo
es      ALL=(ALL)       ALL

第三步：下载并上传压缩包，然后解压
将es的安装包下载并上传到node01服务器的/home/es路径下，然后进行解压
使用es用户来执行以下操作（断开连接linux的工具，然后重新使用es用户连接上三台linux服务器）
node01服务器使用es用户执行以下命令

cd /home/es/
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.0.tar.gz
tar -zxf elasticsearch-6.7.0.tar.gz -C /export/servers/es/

第四步：修改配置文件
修改elasticsearch.yml
node01服务器使用es用户来修改配置文件

cd /export/servers/es/elasticsearch-6.7.0/config
mkdir -p /export/servers/es/elasticsearch-6.7.0/logs
mkdir -p /export/servers/es/elasticsearch-6.7.0/datas
rm -rf elasticsearch.yml
vim elasticsearch.yml

cluster.name: myes
node.name: node01
path.data: /export/servers/es/elasticsearch-6.7.0/datas
path.logs: /export/servers/es/elasticsearch-6.7.0/logs
network.host: 192.168.52.100
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node01", "node02", "node03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"

修改jvm.option
修改jvm.option配置文件，调整jvm堆内存大小
node01使用es用户执行以下命令调整jvm堆内存大小，每个人根据自己服务器的内存大小来进行调整

cd /export/servers/es/elasticsearch-6.7.0/config
vim jvm.options
-Xms2g
-Xmx2g

第五步：将安装包分发到其他服务器上面
node01使用es用户将安装包分发到其他服务器上面去

cd /export/servers/es/
scp -r elasticsearch-6.7.0/ node02:$PWD
scp -r elasticsearch-6.7.0/ node03:$PWD

第六步：node02与node03修改es配置文件
node02与node03也需要修改es配置文件
node02使用es用户执行以下命令修改es配置文件

cd /export/servers/es/elasticsearch-6.7.0/config

vim elasticsearch.yml

cluster.name: myes
node.name: node02
path.data: /export/servers/es/elasticsearch-6.7.0/datas
path.logs: /export/servers/es/elasticsearch-6.7.0/logs
network.host: 192.168.52.110
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node01", "node02", "node03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"

node03使用es用户执行以下命令修改配置文件

cd /export/servers/es/elasticsearch-6.0.0/config/
vim elasticsearch.yml
cluster.name: myes
node.name: node03
path.data: /export/servers/es/elasticsearch-6.7.0/datas
path.logs: /export/servers/es/elasticsearch-6.7.0/logs
network.host: 192.168.52.120
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node01", "node02", "node03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"

第七步：修改系统配置，解决启动时候的问题
由于现在使用普通用户来安装es服务，且es服务对服务器的资源要求比较多，包括内存大小，线程数等。所以我们需要给普通用户解开资源的束缚
解决启动问题一：普通用户打开文件的最大数限制
问题错误信息描述：

max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错
三台机器使用es用户执行以下命令解除打开文件数据的限制
sudo vi /etc/security/limits.conf
添加如下内容: 注意*不要去掉了

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

解决启动问题二：普通用户启动线程数限制
问题错误信息描述

max number of threads [1024] for user [es] likely too low, increase to at least [4096]

修改普通用户可以创建的最大线程数

max number of threads [1024] for user [es] likely too low, increase to at least [4096]

原因：无法创建本地线程问题,用户最大可创建线程数太小
解决方案：修改90-nproc.conf 配置文件。
三台机器使用es用户执行以下命令修改配置文件

sudo vi /etc/security/limits.d/90-nproc.conf

找到如下内容：

  • soft nproc 1024
    #修改为
  • soft nproc 4096

解决启动问题三：普通用户调大虚拟内存
错误信息描述：

max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

调大系统的虚拟内存
原因：最大虚拟内存太小
每次启动机器都手动执行下。
三台机器执行以下命令，注意每次启动ES之前都要执行

sudo  sysctl -w vm.max_map_count=262144

备注：以上三个问题解决完成之后，重新连接secureCRT或者重新连接xshell生效
需要保存、退出、重新登录xshell才可生效。

第八步：启动ES服务

三台机器使用es用户执行以下命令启动es服务

nohup /export/servers/es/elasticsearch-6.7.0/bin/elasticsearch 2>&1 &

启动成功之后jsp即可看到es的服务进程，并且访问页面
http://node01:9200/?pretty
能够看到es启动之后的一些信息
注意：如果哪一台机器服务启动失败，那么就到哪一台机器的

/export/servers/es/elasticsearch-6.7.0/logs

这个路径下面去查看错误日志

node01服务器安装elasticsearch-head插件

由于es服务启动之后，访问界面比较丑陋，为了更好的查看索引库当中的信息，我们可以通过安装elasticsearch-head这个插件来实现，这个插件可以更方便快捷的看到es的管理界面

1 、node01机器安装nodejs

Node.js是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
Node.js是一个Javascript运行环境(runtime environment)，发布于2009年5月，由Ryan Dahl开发，实质是对Chrome V8引擎进行了封装。Node.js 不是一个 JavaScript 框架，不同于CakePHP、Django、Rails。Node.js 更不是浏览器端的库，不能与 jQuery、ExtJS 相提并论。Node.js 是一个让 JavaScript 运行在服务端的开发平台，它让 JavaScript 成为与PHP、Python、Perl、Ruby 等服务端语言平起平坐的脚本语言。
安装步骤参考：https://www.cnblogs.com/kevingrace/p/8990169.html
第一步：下载安装包
node01机器执行以下命令下载安装包，然后进行解压

cd /home/es
wget https://npm.taobao.org/mirrors/node/v8.1.0/node-v8.1.0-linux-x64.tar.gz
tar -zxvf node-v8.1.0-linux-x64.tar.gz -C /export/servers/es/

第二步：创建软连接
node01执行以下命令创建软连接

sudo ln -s /export/servers/es/node-v8.1.0-linux-x64/lib/node_modules/npm/bin/npm-cli.js /usr/local/bin/npm
sudo ln -s /export/servers/es/node-v8.1.0-linux-x64/bin/node /usr/local/bin/node

第三步：修改环境变量
node01服务器添加环境变量

sudo vim /etc/profile
export NODE_HOME=/export/servers/es/node-v8.1.0-linux-x64
export PATH=:$PATH:$NODE_HOME/bin

修改完环境变量使用source生效

source /etc/profile

第四步：验证安装成功
node01执行以下命令验证安装生效

node -v
npm -v

2 、node01机器安装elasticsearch-head插件
elasticsearch-head这个插件是es提供的一个用于图形化界面查看的一个插件工具，可以安装上这个插件之后，通过这个插件来实现我们通过浏览器查看es当中的数据
安装elasticsearch-head这个插件这里提供两种方式进行安装，第一种方式就是自己下载源码包进行编译，耗时比较长，网络较差的情况下，基本上不可能安装成功
第二种方式就是直接使用我已经编译好的安装包，进行修改配置即可
1、第一种方式：在线安装elasticsearch-head插件（网速慢，不推荐）
这里选择node01进行安装
第一步：在线安装必须依赖包

初始化目录

cd /export/servers/es

安装GCC

sudo yum install -y gcc-c++ make git

第二步：从git上面克隆编译包并进行安装

cd /export/servers/es
git clone https://github.com/mobz/elasticsearch-head.git

进入安装目录

cd /export/servers/es/elasticsearch-head

intall 才会有 node-modules

npm install

以下进度信息

npm WARN notice [SECURITY] lodash has the following vulnerability: 1 low. Go here for more details: 
npm WARN notice [SECURITY] debug has the following vulnerability: 1 low. Go here for more details: https://nodesecurity.io/advisories?search=debug&version=0.7.4 - Run `npm i npm@latest -g` to upgrade your npm version, and then `npm audit` to get more info.
npm ERR! Unexpected end of input at 1:2096
npm ERR! 7c1a1bc21c976bb49f3ea","tarball":"https://registry.npmjs.org/safer-bu
npm ERR!                                                                      ^
npm ERR! A complete log of this run can be found in:
npm ERR!     /home/es/.npm/_logs/2018-11-27T14_35_39_453Z-debug.log

以上错误可以不用管。

第三步、node01机器修改Gruntfile.js
第一台机器修改Gruntfile.js这个文件

cd /export/servers/es/elasticsearch-head
vim Gruntfile.js

找到以下代码：
添加一行：

hostname: '192.168.52.100',
connect: {
                        server: {
                              options: {
                                     hostname: '192.168.52.100',
                                     port: 9100,
                                     base: '.',
                                     keepalive: travelue
                                }
                        }
                }

第四步、node01机器修改app.js

第一台机器修改app.js

cd /export/servers/es/elasticsearch-head/_site
vim app.js

更改前：http://localhost:9200
更改后：http://node01:9200
2、第二种方式：直接使用提供的编译之后的源码包解压之后修改配置文件即可（强烈推荐）
第一步：上传压缩包到/home/es路径下去
将我们的压缩包 elasticsearch-head-compile-after.tar.gz 上传到node01机器的/home/es路径下面去
第二步：解压安装包
node01执行以下命令解压安装包

cd /home/es/

tar -zxvf elasticsearch-head-compile-after.tar.gz -C /export/servers/es/

第三步、node01机器修改Gruntfile.js
修改Gruntfile.js这个文件

cd /export/servers/es/elasticsearch-head
vim Gruntfile.js

找到以下代码：
添加一行：

hostname: '192.168.100.100',
connect: {
                        server: {
                              options: {
                                     hostname: '192.168.100.100',
                                     port: 9100,
                                     base: '.',
                                     keepalive: true
                                }
                        }
                }

第四步、node01机器修改app.js
第一台机器修改app.js

cd /export/servers/es/elasticsearch-head/_site
vim app.js

更改前：http://localhost:9200
更改后：http://node01:9200
3、node01机器启动head服务
node01启动elasticsearch-head插件

cd /export/servers/es/elasticsearch-head/node_modules/grunt/bin/

进程前台启动命令

./grunt server

进程后台启动命令

nohup ./grunt server >/dev/null 2>&1 &

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://192.168.52.100:9100

如何停止：elasticsearch-head进程
执行以下命令找到elasticsearch-head的插件进程，然后使用kill -9 杀死进程即可

netstat -nltp | grep 9100
kill -9 8328

4、访问elasticsearch-head界面
打开Google Chrome访问

http://192.168.100.100:9100/

node01服务器安装Kibana

kibana的基本介绍
Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。
你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。
你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。
Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsearch查询的变化。
接着使用我们的es用户在node01服务器上面来实现我们的kibana的安装部署
第一步：下载资源上传服务器并解压
node01服务器使用es用户执行以下命令来下载安装包并解压

cd /home/es

在线下载

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.7.0-linux-x86_64.tar.gz
tar -zxf kibana-6.7.0-linux-x86_64.tar.gz -C /export/servers/es/

第二步：修改配置文件
node01服务器使用es用户执行以下命令来修改配置文件

cd /export/servers/es/kibana-6.7.0-linux-x86_64/config/
vi kibana.yml

配置内容如下：

server.host: "node01"
elasticsearch.hosts: ["http://node01:9200"]

第三步：启动服务
node01服务器使用es用户执行以下命令启动kibana服务

cd /export/servers/es/kibana-6.7.0-linux-x86_64
nohup bin/kibana >/dev/null 2>&1 &

如何停止kibana进程：停止kibana服务进程
查看进程号

ps -ef | grep node

然后使用kill -9杀死进程即可

第四步：浏览器访问
浏览器地址访问kibana服务
http://node01:5601

欢乐小镇
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
海为PLC固件升级包.zip
10-09
固件升级注意事项： 1. 在升级过程中保持PLC和电脑的稳定连接，避免数据传输中断。 2. 检查PLC的电源供应，确保升级过程中不会断电。 3. 遵循官方提供的升级指南，不正确的操作可能导致PLC损坏。 4. 升级前确认新...
200Smart最新固件更新包
07-20
8. **安全注意事项**：只应从官方渠道获取固件更新，以避免安装含有恶意软件的第三方固件。同时，确保设备在更新期间电源稳定，避免因断电导致更新失败。 9. **更新后的检查**：安装完新固件后，应重新启动设备并...
elasticsearch安装部署
热门推荐
qq_49472679的博客
04-21 1万+
elasticsearch安装部署前言一、安装二、部署配置三、启动es三、测试 前言 elasticsearch简介： Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。 Elasticsearch 在速度和可扩展性方面都表现出色，而且还能够索引多种类型的内容，这意味着其可用于多种用例： 应用程序搜索 网站搜索 企业搜索 日志处理和分析 基础设施指标和容器监测 应用程序性能监测 地理空间数据分析和可视化 安全分析
安装和部署elasticsearch
jc15274630894的博客
04-20 2837
安装和部署elasticsearch分布式搜索和分析引擎
ES学习日记(一)-------单节点安装启动_es 单节点运行启动命令
最新发布
2401_84167046的博客
04-29 314
GeoLite2/GeoIP全球ASN-IP离线定位库，官网地址：https://dev.maxmind.com/geoip/geolocate-an-ip?我们现在并不需要这个库，但是elasticsearch启动却需要连接这个库，所以我们需要将这个连接的配置关闭，让启动的时候不去连接这个库。创建用户组,设置es操作用户:groupadd es,向ES用户组添加用户es:useradd es -g es。root权限变更为es权限 : chown -Rf es:es /home/local/es/
ElasticSearch安装部署
邹么的博客
05-30 912
属于最常见的需求，开源的（以下简称 es）是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。Elasticsearch简称es，在企业内同样是一款应用非常广泛的搜索引擎服务。很多服务中的搜索功能，都是基于es来实现的。
ES-集群安装和启动图解
ALONG的博客
03-22 2113
安装 ES   1.下载ES   2.解压并且启动ES   把elasticsearch-7.1.1-windows-x86_64 压缩包解压到G:\opt\ES\elasticsearch-7.1.1   执行下面命令： G:\opt\ES\elasticsearch-7.1.1\bin>elasticsearch 3.在浏览器中打开 http://127.0.0.1:9200/看到以下信息表示ES启动成功 { "name" : "node0", "cluster_name" : "pp
ELASTICSEARCH集群部署
点火三周的专栏
02-21 2278
ELASTICSEARCH集群部署文档 ElasticSearch集群部署文档 版本及连接系统要求部署 1. 确认JDK版本及安装2. 下载es3. 用户/目录/权限设置5. 切换用户6. 修改配置文件7. 设置es占用内存8. 启动测试9. 正式启动10. 脑裂 官方es搭建步骤写的很简略, 但是实际搭建过程中, 会涉及一系列环境配置. 以下的流程, 是在
Haier海尔洗衣机ES100BZ169使用说明书手册参数图解图示pdf电子版下载.pdf
09-07
使用前，用户需要了解一些基本的操作步骤和注意事项。首先，连接进水管，确保进水管接头能牢固套在水龙头上，如有需要可调整螺母以防止漏水。洗衣机配备了洗衣液、洗衣粉、柔顺剂的自动投放功能，用户可以在洗涤前将...
Haier海尔洗衣机ES100BZ189U1使用说明书手册参数图解图示pdf电子版下载.pdf
09-07
在使用这款洗衣机时，用户需要注意以下几点安全和操作事项： 1. 安装与准备：确保洗衣机连接到220V单相三极交流电源插座，使用单独专用插座，并确保插座有可靠接地。电源线不应过度弯曲、拉扯或承受重物，如有损伤...
the-Debug-command.zip_The Dos
09-24
通过`Debug命令使用说明.pdf`这份文档，读者可以更详细地了解每个命令的具体用法、示例以及注意事项。学习和掌握`DEBUG`命令，不仅可以提升对DOS系统和程序运行原理的理解，还有助于培养对底层系统操作的敏感度，这...
es的安装和部署
qq_46533159的博客
09-06 6326
Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据;本身扩展性很好，可以扩展到上百台服务器，处理PB级别(大数据时代）的数据。es也使用java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
elasticsearch概述部署
Sldy0701的博客
04-27 2786
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录一、Elasticsearch的基础概念1、接近实时（NRT）2、集群（cluster）3、节点（node）4、索引（index）5、类型（type）6、文档（document）7、主要功能：二、配置ELK日志分析系统1.配置环境2.配置elasticsearch环境(node1和node2同步)3.部署elasticsearch软件3.集群检查健康和状态4.安装elasticsearch-head插件，上述查看集群的方式，及其不.
ElasticSearch 启动命令
生活不只是眼前的不安还有诗和远方
03-11 459
su es -c "/opt/es1/elasticsearch-6.4.1/bin/elasticsearch -d"su es -c "/opt/es2/elasticsearch-6.4.1/bin/elasticsearch -d"su es -c "/opt/es3/elasticsearch-6.4.1/bin/elasticsearch -d"
Elasticsearch集群部署
weixin_34128839的博客
12-09 468
Elastic 的底层是开源库 Lucene。但是，你没法直接用 Lucene，必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装，提供了 REST API 的操作接口，开箱即用。Elastic 的底层是开源库 。但是，你没法直接用 Lucene，必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装，提供了 RE...
Elasticsearch 安装及启动【Linux】
~~~~~~~BUG FLY~~~~~~~~~
12-15 1778
以上就是今天要讲的内容，本文仅仅简单介绍了Linux下安装和启动Elasticsearch，以上方法亲测有效，希望能给大家一个参考。
【用户画像(一)】技术选型及ElasticSearch与后台启动命令
weixin_46244703的博客
08-19 750
画像项目介绍画像项目介绍项目分类What用户画像 就是给用户打上海量的标签, 根据用户的目标, 行为和观点差异将用户区分成不同的类型, 从每种类型中提出出关键的信息(标签的名字) 形成人物原型, 实际就是用户信息的标签化。WhyHowWhere画像标签体系一级标签：行业-电商二级标签：子行业-仓储三级标签：标签大类-位置四级标签：标签的一个类别-省市区 对应一个计算任务五级标签：四级标签对应的具体值，每个五级标签会有一个标签规则就是标签计算的依据标签分类标签分层。
ElasticSearch简介及ElasticSearch部署、原理和使用介绍
wt334502157的博客
08-08 6570
ElasticSearch简介及ElasticSearch部署、原理和使用介绍 第一章：elasticsearch简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 第一节 elasticSearch的使用场景 1、 为用户提供按关键字查询的全文搜索功能。 2、 实现企业海量数据的处理分析的解决方案
Elasticsearch 安装及启动【Windows】
~~~~~~~BUG FLY~~~~~~~~~
12-01 7865
以上就是今天要讲的内容，本文仅仅简单介绍了Windows下安装和启动Elasticsearch，以上方法亲测有效，希望能给大家一个参考。
ELK详解（二）——Elasticsearch安装与部署
永远是少年
04-03 3290
今天继续给大家介绍Linux运维相关知识，本文主要内容是Elasticsearch的安装与部署。 一、安装准备 二、Elasticsearch安装与配置 三、Elasticsearch启动与访问 四、Elasticsearch集群状态查看
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值