一、elasticsearch 部署
部署机器 10.0.0.31 、10.0.0.32 、10.0.0.33
1.1 环境初始化
数据盘与系统盘分离
mkfs.ext4 /dev/sdb
mkdir /data
vim /etc/fstab
/dev/sdb /data ext4 default 0 0
UUID="" /data ext4 default 0 0 #命令 blkid /dev/sdb 来获取UUID 挂载方法二选一
mount -a
df -TH
内核优化：可同时打开的文件数量
echo "* soft nofile 65536" >> /etc/security/limits.conf
echo "* hard nofile 65536" >> /etc/security/limits.conf
1.2 安装 elasticsearch
将 elasticsearch-7.12.1-amd64.deb 软件包传到 /usr/local/src 目录下，并进行安装
# 安装 elasticsearch
dpkg -i /usr/local/src/elasticsearch-7.12.1-amd64.deb
1.3 编辑 elasticsearch 配置文件
配置文件解释
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: ELK-Cluster #ELK 的集群名称，名称相同即属于是同一个集群
node.name: elk-node1 #当前节点在集群内的节点名称
path.data: /elk/data #ES 数据保存目录
path.logs: /elk/logs #ES 日志保存目
bootstrap.memory_lock: true #服务启动的时候锁定足够的内存，防止数据写入 swap
network.host: 0.0.0.0 #监听 IP
http.port: 9200 #监听端口
#集群中 node 节点发现列表
discovery.seed_hosts: ["172.31.6.104","172.31.6.105","172.31.6.106"
#集群初始化那些节点可以被选举为 master
cluster.initial_master_nodes: ["172.31.6.104","172.31.6.105","172.31.6.106"]
#2.x 5.x 6.x 配置节点发现列表
discovery.zen.ping.unicast.hosts: ["192.168.15.11", "192.168.15.12"]
#一个集群中的 N 个节点启动后,才允许进行数据恢复处理，默认是 1
gateway.recover_after_nodes: 2
# 设置是否可以通过正则或者_all 删除或者关闭索引库，默认 true 表示必须需要 显式指定索引库名称，生产环境建议设置为 true，删除索引库的时候必须指定， 否则可能会误删索引库中的索引库。 删除数据必须指定，不能模糊匹配删除数据。
action.destructive_requires_name: true
es1配置
cluster.name: lck-cluster
node.name: node1
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
network.host: 10.0.0.31
http.port: 9200
discovery.seed_hosts: ["10.0.0.31","10.0.0.32","10.0.0.33"]
cluster.initial_master_nodes: ["10.0.0.31","10.0.0.32","10.0.0.33"]
action.destructive_requires_name: true
es2配置
cluster.name: lck-cluster
node.name: node2
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
network.host: 10.0.0.32
http.port: 9200
discovery.seed_hosts: ["10.0.0.31","10.0.0.32","10.0.0.33"]
cluster.initial_master_nodes: ["10.0.0.31","10.0.0.32","10.0.0.33"]
action.destructive_requires_name: true
es3配置
cluster.name: lck-cluster
node.name: node3
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
network.host: 10.0.0.33
http.port: 9200
discovery.seed_hosts: ["10.0.0.31","10.0.0.32","10.0.0.33"]
cluster.initial_master_nodes: ["10.0.0.31","10.0.0.32","10.0.0.33"]
action.destructive_requires_name: true
1.4 更改目录文件所属者所属组
其中/data目录下的所属者和所属组是root，而/usr/lib/systemd/system/elasticsearch.service的启动用户和组都是elasticsearch，这时候需要更改/data目录的所属组和所属者
mkdir /data/elasticsearch/{data,logs}
chown elasticsearch.elasticsearch /data/elasticsearch -R
systemctl start elasticsearch.service
1.5 验证服务是否起来
# 查看集群日志
tail -f /data/elasticsearch/logs/lck-clust.log
# 查看端口是否起来，9200为用户访问端口，9300为集群通信端口
ss -ntl
1.6 修改内存限制，并同步配置文件，重启服务
# 可以让 elasticsearch 无限制地使用内存
vim /usr/lib/systemd/system/elasticsearch.service
LimitMEMLOCK=infinity
# 设置最小和最大内存限制，一般设置最大=最小,官方配置文档最大建议 30G 以内,一般16G或24G足以
vim /etc/elasticsearch/jvm.options
-Xms1g
-Xmx1g
# 服务启动的时候锁定足够的内存，防止数据写入 swap
vim /etc/elasticsearch/elasticsearch.yml
bootstrap.memory_lock: true
# 重启服务
systemctl daemon-reload
systemctl restart elasticsearch.service
1.7 浏览器访问 elasticsearch 服务端口
URL:10.0.0.31:9200
1.8 安装并使用 elasticsearch 插件 head
功能:可以实现对 elasticsearch 集群的状态监控与管理配置等功能
谷歌浏览器安装 elasticsearch head 插件
URL:https://chrome.google.com/webstore/category/extensions?hl=zh-CN
使用 elasticsearch head 插件
# 7.x 版本无需修改配置文件
# 5.x 6.x 版本需要修改配置文件才能供浏览器访问
vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true #开启支持跨域访问
http.cors.allow-origin: "*" #指定允许访问范围
1.9 安装并使用 elasticsearch 插件 cerebro
最近阶段开源的 elasticsearch 集群 web 管理程序，0.9.3 及之前的版本需要 java 8 或者 更高版本，0.9.4 开始就需要 java 11 或更高版本，具体参考 github 地址
https://github.com/lmenezes/cerebro
0.9.4 下载地址:https://github.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro-0.9.4.zip
apt -y install openjdk-11-jdk
cd /usr/local/src
unzip cerebro-0.9.4.zip
cd cerebro-0.9.4/
pwd /usr/local/src/cerebro-0.9.4
vim conf/application.conf
hosts = [
{
host = "http://10.0.0.31:9200"
name = "lck-clust"
# headers-whitelist = [ "x-proxy-user", "x-proxy-roles", "X-Forwarded-For" ]
}
./bin/cerebro
创建 index: More-create index
number of shard: 一个数据几个分片
number of replicas: 一个分片几个副本
生产环境中: 一个分片 一个副本就够了
节点信息统计
API 使用： More–cat apis
1.10 监控 elasticsearch 集群状态
1.10.1 通过 shell 命令获取集群状态
获取到的是一个 json 格式的返回值，那就可以通过 python 对其中的信息进行分析，例如对 status 进行分析，如果等于 green(绿色)就是运行在正常，等于 yellow(黄色)表示副本分片丢失，red(红色)表示主分片丢失。
root@ubuntu1804:/usr/local/src# curl -sXGET http://10.0.0.31:9200/_cluster/health?pretty=true
{
"cluster_name" : "lck-cluster",
"status" : "green",
"timed_out" : false,
"number_of_nodes" : 3,
"number_of_data_nodes" : 3,
"active_primary_shards" : 0,
"active_shards" : 0,
"relocating_shards" : 0,
"initializing_shards" : 0,
"unassigned_shards" : 0,
"delayed_unassigned_shards" : 0,
"number_of_pending_tasks" : 0,
"number_of_in_flight_fetch" : 0,
"task_max_waiting_in_queue_millis" : 0,
"active_shards_percent_as_number" : 100.0
}
1.10.2 python 脚本
#!/usr/bin/env python
#coding:utf-8
#Author Zhang Jie
import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr
import subprocess
body = ""
false="false"
obj = subprocess.Popen(("curl -sXGET http://172.31.2.101:9200/_cluster/health?pretty=true"),shell=True, stdout=subprocess.PIPE)
data = obj.stdout.read()
data1 = eval(data)
status = data1.get("status")
if status == "green":
print("50")
else:
print("100")
二、部署 logstash
部署机器 10.0.0.37
2.1 环境初始化
apt install -y openjdk-8-jdk
2.2 安装 logstash
将 logstash-7.12.1-amd64.deb 软件包传到 /usr/local/src 目录下，并进行安装
# 安装 elasticsearch
dpkg -i /usr/local/src/logstash-7.12.1-amd64.deb
2.3 测试 logstash 标准输入及标准输出
一个标准输入 就会有一个 标准输出，这样的操作称为一个事件
/usr/share/logstash/bin/logstash -e 'input { stdin { type => stdin } } output { stdout { codec => rubydebug } }'
hello world
{
"host" => "ubuntu1804",
"message" => "hello world",
"@timestamp" => 2021-08-27T16:16:44.133Z,
"type" => "stdin",
"@version" => "1"
}
2.4 测试 logstash 输出到文件
/usr/share/logstash/bin/logstash -e 'input { stdin { type => stdin } } output { file { path => "/tmp/log-%{+YYYY.MM.dd}messages.gz"}}'
hello world
[INFO ] 2021-08-27 16:24:33.041 [[main]>worker1] file - Opening file {:path=>"/tmp/log-2021.08.27messages.gz"}
[INFO ] 2021-08-27 16:24:47.000 [[main]>worker0] file - Closing file /tmp/log-2021.08.27messages.gz
# 打开文件验证
root@ubuntu1804:~# tail -f /tmp/log-2021.08.27messages.gz
{"type":"stdin","message":"hello world","@version":"1","@timestamp":"2021-08-27T16:24:32.749Z","host":"ubuntu1804"}
2.5 测试 logstash 输出到 elasticsearch
/usr/share/logstash/bin/logstash -e 'input { stdin { type => stdin } } output { elasticsearch { hosts => ["10.0.0.31:9200"] index => "mytest-%{+YYYY.MM.dd}" }}'
以配置文件的形式，将日志输出到 elasticsearch
vim /etc/logstash/conf.d/test.conf
input {
file {
path => "/var/log/syslog"
type => "systemlog"
}
}
output {
elasticsearch {
hosts => ["10.0.0.31:9200"]
index => "logstash-lck-testindex"
}
}
# 由于日志文件普通用户没有读权限，需要修改启动logstash服务时的用户
vim /etc/systemd/system/logstash.service
User=root
Group=root
# 服务起来，就会自动执行配置文件
systemctl restart logstash
# 查看logstash日志,看服务是否可用
tail -f /var/log/logstash/logstash-plain.log
# 在日志中可以看到会生成一个 .sincedb_ 文件，该文件会记录日志收集到哪个位置
root@ubuntu1804:~# cat /var/lib/logstash/plugins/inputs/file/.sincedb_f5fdf6ea0ea92860c6a6b2b354bfcbbc
5245619 0 2050 793209 1630115834.829515 /var/log/syslog
root@ubuntu1804:~# ll /var/log/syslog
-rw-r----- 1 syslog adm 793209 Aug 28 01:57 /var/log/syslog
file 选项
start_position => "beginning" # 从头开始收集日志，也可以 "end" 从末尾收集日志
start_interval => 3 # 每三秒钟收集一次日志信息
2.6 测试 elasticsearch 服务器验证收到数据
root@ubuntu1804:/usr/local/src# ll /data/elasticsearch/data/nodes/0/indices/
total 12
drwxr-xr-x 3 elasticsearch elasticsearch 4096 Aug 28 02:04 ./
drwxr-xr-x 5 elasticsearch elasticsearch 4096 Aug 28 02:05 ../
drwxr-xr-x 4 elasticsearch elasticsearch 4096 Aug 28 02:04 3VG3QtzIQ96Pv1TQ5oQMeg/
三、kibana 部署
部署机器 10.0.0.31
3.1 安装 kibana
# 将文件包 kibana-7.12.1-amd64.deb 上传到/usr/local/src
root@ubuntu1804:/usr/local/src# dpkg -i kibana-7.12.1-amd64.deb
3.2 编辑 kibana 配置文件
vim /etc/kibana/kibana.yml
server.port: 5601 #监听端口
server.host: "10.0.0.31" #监听地址
elasticsearch.hosts: ["http://10.0.0.31:9200"]
i18n.locale: "zh-CN" #支持中文
elasticsearch.url: http://10.0.0.31:9200 #elasticsearch 服务器地址
3.3 启动服务并验证服务是否起来
# 启动服务
root@ubuntu1804:/usr/local/src# systemctl start kibana.service
# 查看5601端口是否起来
root@ubuntu1804:/usr/local/src# ss -ntl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 127.0.0.53%lo:53 0.0.0.0:*
LISTEN 0 128 0.0.0.0:22 0.0.0.0:*
LISTEN 0 128 127.0.0.1:6011 0.0.0.0:*
LISTEN 0 128 10.0.0.31:5601 0.0.0.0:*
LISTEN 0 128 [::]:22 [::]:*
LISTEN 0 128 [::1]:6011 [::]:*
LISTEN 0 128 [::ffff:10.0.0.31]:9200 *:*
LISTEN 0 128 [::ffff:10.0.0.31]:9300 *:*
3.4 查看状态
3.5 创建索引方便查询日志
利用索引查看已过滤的日志
# 在 10.0.0.37 测试数据的写入
root@ubuntu1804:~# echo "lck-v111111111111111" >> /var/log/syslog
ELK v7.12.1安装包.zip https://download.csdn.net/download/qq_42606357/21698541
475
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
