文章目录
前言
前面零零碎碎的已经把ELK搭建和收集日志基本都已经说过了,现在把前面的都放到一起,仅做参考:
ELK收集nginx正确和错误日志
ELK单体介绍和es群集的搭建
现在这篇解决了高访问量,日志频繁写入的场景,使用redis做高速缓存,也提高了该架构的可用性,logstash从redis里再收集日志并过滤处理,最后提交到es群集里分片存储
nginx+redis+filebeat+logstash+elasticsearch+kibana 工作展示图
工作流程如下:
- 当有用户访问的时候,就会产生日志,filebeat负责把指定路径的日志收集起来提交到redis;
- redis会以key的形式存储日志,从服务器做好备份,提高redis的冗余性;
- logstash会在redis里面input日志信息并做分析过滤,然后转发给es;
- es对日志分片和索引;
- kibana通过web形式将es里面的日志展示出来,便于管理员集中管理。
redis在ELK架构里的作用
- 存储日志,可以是nginx,apache,tomcat等其他只要产生都可以存储,只要打上标签,logstash在input时就会分好类,就像京东快递仓库一样,把所有的快递全部集中到一起,只要写好目标地址,就会送到你手里
- 提高冗余性,若redis后面的全部宕机了,也不至于数据丢失
- 加快日志的读取速度
- 全部日志集中一起,打好标签,便于操作管理
构建filebeat+redis+logstash+es+kibana架构
环境:
主机IP | 描述 |
---|---|
Centos7(192.168.10.8) | es群集,kibana |
Centos7(192.168.10.7) | es群集,nginx,filebeat |
Centos7(192.168.10.1) | logstash,redis |
部署es群集
- 下载安装es
wget https://mirror.tuna.tsinghua.edu.cn/elasticstack/yum/elastic-6.x/6.6.0/elasticsearch-6.6.0.rpm
rpm -ivh elasticsearch-6.6.0.rpm
warning: elasticsearch-6.6.0.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Preparing... ################################# [100%]
Creating elasticsearch group... OK
Creating elasticsearch user... OK
- 修改配置文件
grep -Ev '^#|^$' /etc/elasticsearch/elasticsearch.yml
cluster.name: ES_cluster
node.name: node-1
path.data: /data/es #数据存放目录
path.logs: /var/log/elasticsearch #日志存放目录
bootstrap.memory_lock: true #开启内存锁定,会与/etc/elasticsearch/jvm.options有关联
network.host: 0.0.0.0 #0.0.0.0代表所有主机,集群里面不管那一台主机ip:9200,都可以进入
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node-1", "node-2","node-3"]
discovery.zen.minimum_master_nodes: 2
- 创建目录,修改权限
mkdir -p /data/elasticsearch
chown -R elasticsearch:elasticsearch /data/elasticsearch/
- 分配内存锁定
vim /etc/elasticsearch/jvm.options
-Xms2g #分配最小内存 ,根据你自己的而定=你物理内存的一半
-Xmx2g #分配最大内存,官方推荐为物理内存的一半,但最大为32G,超过了32G,反而可能会有副作用
还没有完,添加以下内容
systemctl edit elasticsearch
添加:
[Service]
LimitMEMLOCK=infinity
F2 回车 保存退出
systemctl daemon-reload
systemctl start elasticsearch
node-2配置和node-1一模一样
es群集配置完会通过单播的形式在节点之间互相发现,所以节点IP不要写错
部署kibana
- 安装kibana
cd /data/soft
rpm -ivh kibana-6.6.0-x86_64.rpm
- 修改配置文件
vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "192.168.10.8"
server.name: "db01"
elasticsearch.hosts: ["http://192.168.10.8:9200"]
保存退出
- 启动kibana
systemctl start kibana
部署redis
- 安装redis,并启动
准备安装和数据目录
mkdir -p /data/soft
mkdir -p /opt/redis_cluster/redis_6379/{conf,logs,pid}
- 下载redis安装包
cd /data/soft
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
- 解压redis到/opt/redis_cluster/
tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
ln -s /opt/redis_cluster/redis-5.0.7 /opt/redis_cluster/redis
- 切换目录安装redis
cd /opt/redis_cluster/redis
make && make install
- 编写配置文件
vim /opt/redis_cluster/redis_6379/conf/6379.conf
添加:
bind 127.0.0.1 192.168.1.108
port 6379
daemonize yes
pidfile /opt/redis_cluster/redis_6379/pid/redis_6379.pid
logfile /opt/redis_cluster/redis_6379/logs/redis_6379.log
databases 16
dbfilename redis.rdb
dir /opt/redis_cluster/redis_6379
开启redis
sh redis_shell.sh login 6379
此脚本在之前的博文也出现过,redis集群控制脚本
https://blog.csdn.net/weixin_43815140/article/details/106163920
[root@localhost ~]# netstat -anpt | grep redis
tcp 0 0 192.168.10.1:6379 0.0.0.0:* LISTEN 49231/redis-server
tcp 0 0 192.168.10.1:6379 192.168.10.7:46470 ESTABLISHED 49231/redis-server
[root@localhost ~]#
部署filebeat
- 安装filebeat
rpm -ivh filebeat-6.6.0-x86_64.rpm
- 修改filebeat配置文件
vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
json.keys_under_root: true
json.overwrite_keys: true
tags: ["access"]
- type: log
enabled: true
paths:
- /var/log/nginx/error.log
tags: ["error"]
setup.template.settings:
index.number_of_shards: 5
setup.kibana:
hosts: ["192.168.10.8"]
output.redis:
hosts: ["192.168.10.1"]
key: "filebeat"
db: 0
timeout: 5
启动filebeat
systemctl start filebeat
启动过程中会有些慢,要等一会,不要来回重启
到现在,nginx的access日志和error日志都会被存到redis里filebeat
的可以里面;接下来安装配置logstash,从redis里面拉取数据并过滤处理发给es集群
部署logstash
- 安装logstash
rpm -ivh logstash-6.6.0.rpm
- 修改配置文件
vim /etc/logstash/conf.d/redis.conf
input {
redis {
host => "192.168.10.1"
port => "6379"
db => "0"
key => "filebeat"
data_type => "list"
}
}
filter {
mutate {
convert => ["upstream_time","float"]
convert => ["request_time","float"]
}
}
output {
stdout {}
elasticsearch {
hosts => ["http://192.168.10.8:9200"]
index => "nginx_access-%{+YYYY.MM}"
manage_template => false
}
}
filter
部分意思为把upstream_time
和request_time
的时间转换为浮点化,为了后面方便排序和查询
3. 启动logstash
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf
开启的时候比filebeat还慢,刚开始回合卡住一样,等着等着等着…
直到屏幕上会有日志信息出来,这时候,你就可以去es去看存储的日志了
不过前提是你得准备好nginx服务并开启
ab命令
去压力测试
这时候去看redis里的key
会变成空值
,只要logstash把数据拉过去,redis就会消失数据,所以不必担心redis内存不够的情况,只要logstash不出现故障,日志就会很快被送到logstash,redis只是起到个缓存作用
nginx 开启日志JSON转换
nginx配置文件添加以下内容:
log_format log_json '{ "@timestamp": "$time_local", '
'"remote_addr": "$remote_addr", '
'"referer": "$http_referer", '
'"request": "$request", '
'"status": $status, '
'"bytes": $body_bytes_sent, '
'"agent": "$http_user_agent", '
'"x_forwarded": "$http_x_forwarded_for", '
'"up_addr": "$upstream_addr",'
'"up_host": "$upstream_http_host",'
'"up_resp_time": "$upstream_response_time",'
'"request_time": "$request_time"'
' }';
最后要记得更改
access_log /var/log/nginx/access.loglog_json
;
我们在filebeat配置文件里已经添加了下面2行,不过还是要注意
json.keys_under_root: true
json.overwrite_keys: true
实现access和error日志分离
需要修改logstash的配置文件,修改output部分,添加上根据标签来判断分离
在output添加if判断
如果前面“大仓库”里还有tomcat日志,在filebeat里面添加上tomcat标签,在这里就可以定义tomcat索引的日志
input {
redis {
host => "192.168.10.1"
port => "6379"
db => "0"
key => "filebeat"
data_type => "list"
}
}
filter {
mutate {
convert => ["upstream_time","float"]
convert => ["request_time","float"]
}
}
output {
stdout {}
if "access" in [tags] {
elasticsearch {
hosts => ["http://192.168.10.8:9200"]
index => "nginx_access-%{+YYYY.MM}"
manage_template => false
}
}
if "error" in [tags] {
elasticsearch {
hosts => ["http://192.168.10.8:9200"]
index => "nginx_error-%{+YYYY.MM}"
manage_template => false
}
}
}
修改完后,重启logstash
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf
手动去清空原来的索引,测试
到这里,这个ELK架构基本上已经完成了,
各个节点也已经协同工作,万事具备,只欠数据!