1.基础环境
操作系统:本次搭建使用CentOS或Amazon linux等可以使用rpm命令的操作系统,使用其他操作系统在某些步骤进行适配性修改即可
版本信息:ElasticSearch 6.8.10、Kibana 6.8.10
2.ElasticSearch安装
2.1JDK安装
可以选择在JDK官网下载或者从其他途径下载均可。
JDK官网地址:
https://www.oracle.com/java/technologies/javase-jdk11-downloads.html
注意:需要登录Oracle才能下载,可以注册一个账号使用。
选择JAVA8中的Linux 64位的rpm包,点击下载
将下载的JDK安装包上传至服务器/data/software目录,然后rpm直接安装JDK:
rpm -ivh /data/software/jdk-8u351-linux-x64.rpm
完成后输入java -version可以看到以下输出:
配置java环境变量:
vim /etc/profile
在末尾增加以下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
wq保存退出后,输入命名生效:
source /etc/profile
配置连接shell窗口自动source /etc/profile,需要vim /etc/bashrc文件,添加相应内容:
vim /etc/bashrc
#在文件末尾添加下面的内容
source /etc/profile
wq保存退出后,下次连接shell窗口时会自动生效。
2.2下载ElasticSearch安装包
在服务器上使用wget命令下载tar.gz包:
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.10.tar.gz
也可以在官网中下载,下载地址Elasticsearch 6.8.10 | Elastic
解压安装包至/data目录:
tar -zxvf elasticsearch-6.8.10.tar.gz -C /data
2.3配置文件修改
解压完成后,ES的目录为/data/elasticsearch-6.8.10
创建数据目录、日志目录:
mkdir -p /data/elasticsearch-6.8.10/data
mkdir -p /data/elasticsearch-6.8.10/logs
注:本次搭建我们只搭建了ES单机版,如需搭建ES集群,可参考文章:
Linux搭建ElasticSearch(ES)集群并设置密码登录_es集群设置密码_干运维的yds的博客-CSDN博客
编辑elasticsearch.yml,开始修改ElasticSearch服务的配置:
vim /data/elasticsearch-6.8.10/config/elasticsearch.yml
文件中需要添加或修改的内容如下(配置文件中默认全都是备注掉的,需要添加):
path.data: /data/elasticsearch-6.8.10/data #ES集群数据目录
path.logs: /data/elasticsearch-6.8.10/logs #ES集群日志目录
network.host: 0.0.0.0 #配置0.0.0.0允许其他地址访问
http.port: 9200 #对外访问端口
transport.tcp.port: 9300
transport.tcp.compress: true
http.cors.enabled: true #允许跨域访问
http.cors.allow-origin: "*"
其他配置修改,主要是修改jvm的运行内存大小,可以根据实际情况按需修改:
vim /data/elasticsearch-6.8.10/config/jvm.options
修改其中的以下两条,根据实际情况按需修改:
-Xms1g
-Xmx1g
系统参数修改:
vim /etc/security/limits.conf
在末尾增加以下内容:
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096
修改/etc/sysctl.conf配置:
vim /etc/sysctl.conf
添加如下内容:
vm.max_map_count=655360
修改完成保存生效:
sysctl -p
2.4创建ElasticSearch运行用户、启动服务
由于ES集群不允许root用户运行,需要创建ES运行用户:
# 创建用户组
groupadd es
# 创建用户并添加至用户组
useradd es -g es
# 更改用户密码(输入 es)
passwd es
修改目录权限:
sudo chown -R es:es /data/elasticsearch-6.8.10
切换用户:
su es
启动服务:
cd /data/elasticsearch-6.8.10/bin
./elasticsearch -d #-d是后台启动,第一次启动时可以不加-d,查看启动的日志情况
启动后输入jps可以查看到服务状态
启动完成后,可以在浏览器访问http://节点IP地址:9200/_cat/health?v查看状态
也可以直接访问http://节点IP地址:9200查看服务情况
3.ElasticSearch-Head插件安装
3.1安装node.js
注意运行完ES后要切换回root用户
安装依赖
yum -y install gcc gcc-c++ openssl-devel
下载安装包、解压至/data目录
wget http://nodejs.org/dist/v13.9.0/node-v13.9.0-linux-x64.tar.gz
tar -zxvf node-v13.9.0-linux-x64.tar.gz -C /data
配置全局变量并生效
vim /etc/profile
#在末尾加入以下内容
export PATH=$PATH:/data/node-v13.9.0-linux-x64/bin
#wq保存退出后,输入命令生效
source /etc/profile
验证,能看到输出版本号信息则成功
node -v
npm -v
3.2安装ElasticSearch-Head插件
下载安装包,可以选择去github上下载然后再上传至服务器中,也可以直接安装git命令后,直接下载到服务器上,这里我们选择git下载。
安装git命令
yum install -y git
git clone拉取部署包,我们直接在/data目录下拉取
git clone https://github.com/e-lionel/elasticsearch-head.git
配置修改,vim编辑Gruntfile.js文件
#进入文件夹,编辑文件
cd /data/elasticsearch-head
vim Gruntfile.js
在此处添加内容:
hostname: '0.0.0.0',
编辑_site/app.js文件,搜索9200,修改localhost为ES的访问地址
安装所需的npm依赖库
npm install phantomjs-prebuilt@2.1.16 --ignore-scripts
然后执行npm install命令进行安装
npm install
运行服务
nohup ./node_modules/grunt/bin/grunt server > es-head-start.log 2>&1 &
服务运行后,会启动在9100端口,然后就可以在浏览器中访问查看。
4.Kibana安装
4.1下载安装包
可以在官网下载后上传至服务器中,也可以直接使用wget命令在服务器中下载官网安装包,这里我我们选择wget下载。
注意Kibana的版本需要与ElasticSearch版本一致。
官网下载地址:Download Kibana Free | Get Started Now | Elastic
本次使用rpm安装的方式,所以下载rpm包,还是放到/data/software目录下
cd /data/software
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.8.10-x86_64.rpm
4.2安装服务
rpm -ivh kibana-6.8.10-x86_64.rpm
4.3配置修改
修改配置文件,rpm方式安装的kibana配置文件路径是/etc/kibana/kibana.yml
vim /etc/kibana/kibana.yml
文件里面的配置默认是全部注释掉的,我们需要添加如下内容:
# 服务端口
server.port: 5601
# 服务器ip 本机
server.host: "0.0.0.0"
# Elasticsearch 服务地址
elasticsearch.hosts: ["http://localhost:9200"]
# 设置语言为中文
i18n.locale: "zh-CN"
注:配置文件中默认注释掉的内容里有很多配置,例如ES的登录用户密码配置等,如有需要可以按需配置。
4.4启动服务
systemctl start kibana
服务启动后,稍等一两分钟,然后就可以在浏览器中访问5601端口就可以看到界面了。
5.安装Logstash
5.1安装包下载
可以在官网下载后上传至服务器中,也可以直接使用wget命令在服务器中下载官网安装包,这里我我们选择wget下载。
注意Logstash的版本需要与ElasticSearch、Kibana版本一致。
官网下载地址:Download Logstash Free | Get Started Now | Elastic
本次使用rpm安装的方式,所以下载rpm包,还是放到/data/software目录下
cd /data/software
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.10.rpm
5.2安装服务
rpm -ivh logstash-6.8.10.rpm
5.3配置修改
pipeline流水线
修改配置文件,rpm方式安装的Logstash配置文件路径是/etc/logstash/conf.d
#复制配置文件模板
cp /etc/logstash/logstash-sample.conf /etc/logstash/conf.d/logstash.conf
配置内容因人而异,可以按项目进行相关的配置,模板及部分配置项如下
input {
tcp {
mode => "server"
host => "0.0.0.0"
port => 4560
codec => json_lines
}
}
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
#user => "elastic"
#password => "changeme"
}
}
服务配置文件
Logstash服务自身的配置文件路径为/etc/logstash/logstash.yml,包含了端口、进程大小限制、日志文件路径等配置内容,可以按需进行配置。默认端口为9600。
vim /etc/logstash/logstash.yml
5.4启动服务
systemctl start logstash
6.全流程验证
ELK平台的部署已经全部结束了,接下来可以做一次全流程的验证测试。
未完待续。。。。
施工中。。。。