vim /etc/kibana/kibana.yml
修改!!
server.port: 5601 #删除警号
server.host: "192.168.8.10" #本机的ip地址
server.name: "db01" #自己所在主机的主机名
elasticsearch.hosts: ["http://192.168.8.10:9200"] #es服务器的ip,便于接收日志数据
保存退出
3、启动kibana
systemctl start kibana
测试访问kibana和Elasticsearch
在8.20主机上安装nginx、filebeat
1、安装nginx:
yum install epel-release
yum install nginx
2、安装filebeat:
rpm -ivh filebeat-6.6.0-x86_64.rpm
3、修改filebeat配置output指向redis,删除配置文件原有的内容,添加下面
vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log
json.keys_under_root: true
json.overwrite_keys: true
tags: ["access"]
- type: log
enabled: true
paths:
- /var/log/nginx/error.log
tags: ["error"]
setup.template.settings:
index.number_of_shards: 3
setup.kibana:
output.redis:
hosts: ["192.168.8.30"]
key: "filebeat"
db: 0
timeout: 5
启动filebeat
systemctl start filebeat
8.30主机上安装Redis和logstash
1、安装Redis,并启动:
准备安装和数据目录
mkdir -p /data/soft
mkdir -p /opt/redis_cluster/redis_6379/{conf,logs,pid}
2、下载redis安装包
cd /data/soft
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
3、解压redis到/opt/redis_cluster/
tar xf redis-5.0.7.tar.gz -C /opt/redis_cluster/
ln -s /opt/redis_cluster/redis-5.0.7 /opt/redis_cluster/redis
4、切换目录安装redis
cd /opt/redis_cluster/redis
make && make install
5、修改配置文件
vim /opt/redis_cluster/redis_6379/conf/6379.conf
添加:
bind 127.0.0.1 192.168.8.30
port 6379
daemonize yes
pidfile /opt/redis_cluster/redis_6379/pid/redis_6379.pid
logfile /opt/redis_cluster/redis_6379/logs/redis_6379.log
databases 16
dbfilename redis.rdb
dir /opt/redis_cluster/redis_6379
6、启动当前redis服务
redis-server /opt/redis_cluster/redis_6379/conf/6379.conf
7、测试访问网站,登录redis,查看键值
redis-cli #登录
keys * #列出所有键
type filebeat #filebeat为键值名
LLEN filebeat #查看list长度
LRANGE filebeat 0 -1 #查看list所有内容
8、安装logstash,收集redis的日志,提交给es
(1)安装logstash(安装包提前放在了/data/soft下)
cd /data/soft/
rpm -ivh logstash-6.6.0.rpm
(2)修改logstash配置文件,实现access和error日志分离
注:mutate和grok是filter过滤选项,grok负责match正则过滤匹配,
mutate负责convert数据类型转换。
vim /etc/logstash/conf.d/redis.conf
添加:
input {
redis {
host => "192.168.8.30"
port => "6379"
db => "0"
key => "filebeat"
data_type => "list"
}
}
filter {
mutate {
convert => ["upstream_time","float"]
convert => ["request_time","float"]
}
}
output {
stdout {}
if "access" in [tags] {
elasticsearch {
hosts => ["http://192.168.8.10:9200"]
index => "nginx_access-%{+YYYY.MM.dd}"
manage_template => false
}
}
if "error" in [tags] {
elasticsearch {
hosts => ["http://192.168.8.10:9200"]
index => "nginx_error-%{+YYYY.MM.dd}"
manage_template => false
}
}
}
保存退出
重启logstash:
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf
添加日志视频在网盘中!!!
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
(https://img-blog.csdnimg.cn/direct/b69d479bbba9479080d36844fbb69bcb.png)
添加日志视频在网盘中!!!
[外链图片转存中…(img-qWKJNKaz-4702037807310)]
[外链图片转存中…(img-chd39oGX-4702037807311)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!