Centos7 EFK采集NGINX日志

最新推荐文章于 2024-06-22 01:00:00 发布
最新推荐文章于 2024-06-22 01:00:00 发布
阅读量878 收藏 3
点赞数 2
分类专栏： 运维实用技能 文章标签： zookeeper kafka nginx 运维 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Q274948451/article/details/108703755
版权

EFK 流程图

在这里插入图片描述

一.准备环境

1.准备三台centos7虚拟机

在这里插入图片描述

2.关掉防火墙
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
3.同步时间
[root@localhost ~]# yum -y install ntpdate
[root@localhost ~]# ntpdate pool.ntp.org
4.将三个主机改名为kafka …
[root@localhost ~]# hostname kafka1  136主机

[root@localhost ~]# hostname kafka2  137主机

[root@localhost ~]# hostname kafka3  138主机
5.域名解析 三台都添加
[root@localhost ~]# vim /etc/hosts
192.168.27.136 kafka1
192.168.27.137 kafka2
192.168.27.138 kafka3
6.上传安装包 (三台自己分配)
第一台 136在这里插入图片描述
第二台 137在这里插入图片描述
第三台 138在这里插入图片描述

二.安装部署

1.安装jdk环境 三台都安装

[root@kafka1 src]# rpm -ivh jdk-8u131-linux-x64_.rpm 
准备中...                          ################################# [100%]
正在升级/安装...
   1:jdk1.8.0_131-2000:1.8.0_131-fcs  ################################# [100%]
Unpacking JAR files...
	tools.jar...
	plugin.jar...
	javaws.jar...
	deploy.jar...
	rt.jar...
	jsse.jar...
	charsets.jar...
	localedata.jar...
[root@kafka1 src]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
[root@kafka1 src]#

2.安装zookeeper 三台都安装

解压安装
[root@kafka3 src]# tar xzf zookeeper-3.4.14.tar.gz 
[root@kafka3 src]# mv zookeeper-3.4.14 /usr/local/zookeeper
[root@kafka3 zookeeper]# cd /usr/local/zookeeper/conf/
[root@kafka3 conf]# ls
configuration.xsl  log4j.properties  zoo_sample.cfg
[root@kafka3 conf]# mv zoo_sample.cfg zoo.cfg
配置zookeeper 三台都添加
[root@kafka3 conf]# vim zoo.cfg 

# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=192.168.27.136:2888:3888
server.2=192.168.27.137:2888:3888
server.3=192.168.27.138:2888:3888
创建目录 然后依次启动
[root@kafka1 conf]# mkdir /tmp/zookeeper
[root@kafka1 conf]# echo "1" > /tmp/zookeeper/myid
[root@kafka1 conf]# /usr/local/zookeeper/bin/zkServer.sh start

[root@kafka2 conf]# mkdir /tmp/zookeeper
[root@kafka2 conf]# echo "2" > /tmp/zookeeper/myid
[root@kafka2 conf]# /usr/local/zookeeper/bin/zkServer.sh start

[root@kafka3 conf]# mkdir /tmp/zookeeper
[root@kafka3 conf]# echo "3" > /tmp/zookeeper/myid
[root@kafka3 conf]# /usr/local/zookeeper/bin/zkServer.sh start
查看zookeeper
[root@kafka1 src]# /usr/local/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

[root@kafka2 src]# /usr/local/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower

[root@kafka3 src]# /usr/local/zookeeper/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: leader

3.安装kafka 三台都安装

解压安装
[root@kafka1 src]# tar xzf kafka_2.11-2.2.0.tgz 
[root@kafka1 src]# mv kafka_2.11-2.2.0 /usr/local/kafka
编辑配置文件
[root@kafka1 src]# vim /usr/local/kafka/config/server.properties

在这里插入图片描述在这里插入图片描述

启动 查看端口
[root@kafka1 src]# /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
[root@kafka1 src]# netstat -nltpu |grep 9092
tcp6       0      0 :::9092                 :::*                    LISTEN      26868/java

验证kafka

创建topic
[root@kafka1 src]# /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.27.136:2181  --replication-factor 2 --partitions 3 --topic wg007
Created topic wg007.
验证topic
[root@kafka1 src]# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.27.136:2181
wg007
模拟生产者
[root@kafka01 config]# /usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.27.136:9092 --topic wg007
>宫保鸡丁
模拟消费者
[root@kafa02 config]# /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.27.136:9092  --topic wg007 --from-beginning
宫保鸡丁

4.安装 nginx filebeat

在其中一台安装 (我的是137)
注意：两个得安装在一台 因为用filebeat收集nginx日志 ,filebeat不能跨主机收集
先安装epel源
[root@kafka2 ~]# yum -y install epel-release
安装nginx
[root@kafka2 ~]# yum -y install nginx
安装filebeat
[root@kafka2 ~]# rpm -ivh filebeat-6.8.12-x86_64.rpm
启动nginx
[root@kafka2 ~]# systemctl start nginx
安装httpd-tolls 压测下nginx 产生点日志
[root@kafka2 ~]# yum -y install httpd-tools
[root@kafka2 ~]# ab -n 1000 -c 1000 http://192.168.27.137/
配置filebeat文件
[root@kafka2 ~]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log

output.kafka:
  enabled: true
  hosts: ["192.168.27.136:9092","192.168.27.137:9092","192.168.27.138:9092"]
  topic: nginx
  
重新启动 filebeat
验证kafka有没有收到filebeat的数据
先看下有没有nginx的topic
[root@kafka2 ~]# /usr/local/kafka_2.11-2.2.0/bin/kafka-topics.sh --list --zookeeper 192.168.27.136:2181
nginx

在模拟下消费着看下
[root@kafka2 ~]# /usr/local/kafka_2.11-2.2.0/bin/kafka-console-consumer.sh --bootstrap-server 192.168.27.136:9092 --topic nginx --from-beginning

5.安装配置elasticsearch

在一台安装就行 (我在136)
[root@kafka1 ~]# rpm -ivh elasticsearch-6.6.2.rpm
配置elasticsearch
[root@kafka1 ~]# vim /etc/elasticsearch/elasticsearch.yml

在这里插入图片描述
在这里插入图片描述

启动elasticsearch
[root@kafka1 ~]# systemctl start elasticsearch

6.安装配置logsatsh

在一台安装 (我的在137)
[root@kafka2 ~]# rpm -ivh logstash-6.6.0.rpm
配置logsaths
[root@kafka2 ~]# vim /etc/logstash/conf.d/nginx.conf
input{
        kafka{
                bootstrap_servers => ["192.168.27.136:9092,192.168.27.137:9092,192.168.27.138:9092"]
                group_id => "logstash"
                topics => "nginx"
                consumer_threads => 5
        }

}
filter {
        json{
                source => "message"
        }
        
        mutate {
                remove_field => ["host","prospector","fields","input","log"]
        }
        grok {
                match => { "message" => "%{NGX}" }
        }

}

output{ 
        elasticsearch {
                hosts => "192.168.27.136:9200"
                index => "nginx-%{+YYYY.MM.dd}"
        }
}
添加下正则表达式
[root@kafka2 ~]# vim /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/nginx
NGX %{IPORHOST:client_ip} (%{USER:ident}|- ) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} (%{NOTSPACE:request}|-)(?: HTTP/%{NUMBER:http_version})?|-)" %{NUMBER:status} (?:%{NUMBER:bytes}|-) "(?:%{URI:referrer}|-)" "%{GREEDYDATA:agent}"
重启logstash 查看日志
root@kafka2 ~]# systemctl restart logstash
[root@kafka2 ~]# tailf /var/log/logstash/logstash-plain.log 
[2020-09-22T21:16:16,084][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-2, groupId=logstash] Successfully joined group with generation 6
[2020-09-22T21:16:16,084][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-2, groupId=logstash] Setting newly assigned partitions []
[2020-09-22T21:16:16,084][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Successfully joined group with generation 6
[2020-09-22T21:16:16,085][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-4, groupId=logstash] Successfully joined group with generation 6
[2020-09-22T21:16:16,085][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-4, groupId=logstash] Setting newly assigned partitions []
[2020-09-22T21:16:16,091][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Successfully joined group with generation 6
[2020-09-22T21:16:16,092][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Setting newly assigned partitions [nginx-0]
[2020-09-22T21:16:16,119][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-3, groupId=logstash] Setting newly assigned partitions []
[2020-09-22T21:16:16,119][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Setting newly assigned partitions [msg-0]
[2020-09-22T21:16:16,154][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
[2020-09-22T21:16:16,241][INFO ][org.apache.kafka.clients.consumer.internals.Fetcher] [Consumer clientId=logstash-0, groupId=logstash] Resetting offset for partition nginx-0 to offset 1000.
没有报错

7.安装配置kibana

在一台安装 (我在138)
	[root@kafka3 ~]# rpm -ivh kibana-6.6.2-x86_64.rpm
配置kibana
[root@kafka3 ~]# vim /etc/kibana/kibana.yml

在这里插入图片描述
在这里插入图片描述

启动kibana
[root@kafka3 ~]# systemctl start kibana
查看elasticsearch日志收到数据没
[root@kafka1 ~]# tailf /var/log/elasticsearch/wg007.log 
[2020-09-22T20:28:50,252][INFO ][o.e.c.m.MetaDataIndexTemplateService] [node-1] adding template [.monitoring-kibana] for index patterns [.monitoring-kibana-6-*]
[2020-09-22T20:28:50,370][INFO ][o.e.l.LicenseService     ] [node-1] license [1c133ff2-d40d-4e30-9bd7-e4f937d362bc] mode [basic] - valid
[2020-09-22T20:29:52,112][INFO ][o.e.c.m.MetaDataIndexTemplateService] [node-1] adding template [logstash] for index patterns [logstash-*]
[2020-09-22T20:30:16,281][INFO ][o.e.c.m.MetaDataCreateIndexService] [node-1] [msg-2020.09.22] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings []
[2020-09-22T20:30:16,761][INFO ][o.e.c.m.MetaDataMappingService] [node-1] [msg-2020.09.22/Zwzx43dCTVGHTHW5D7YpUg] create_mapping [doc]
[2020-09-22T20:30:28,648][INFO ][o.e.c.m.MetaDataCreateIndexService] [node-1] [.kibana_1] creating index, cause [api], templates [], shards [1]/[1], mappings [doc]
[2020-09-22T20:30:28,651][INFO ][o.e.c.r.a.AllocationService] [node-1] updating number_of_replicas to [0] for indices [.kibana_1]
[2020-09-22T20:30:28,865][INFO ][o.e.c.m.MetaDataIndexTemplateService] [node-1] adding template [kibana_index_template:.kibana] for index patterns [.kibana]
[2020-09-22T20:30:28,903][INFO ][o.e.c.m.MetaDataIndexTemplateService] [node-1] adding template [kibana_index_template:.kibana] for index patterns [.kibana]
[2020-09-22T20:31:24,158][INFO ][o.e.c.m.MetaDataIndexTemplateService] [node-1] adding template [kibana_index_template:.kibana] for index patterns [.kibana]

有kibana啦 如果没nginx 在压测一下

[root@kafka2 ~]# ab -n 1000 -c 1000 http://192.168.27.137/
再次查看
[root@kafka1 ~]# tailf /var/log/elasticsearch/wg007.log 
[2020-09-22T21:25:20,673][INFO ][o.e.c.m.MetaDataMappingService] [node-1] [nginx-2020.09.22/X_m8nXLrQb2y4-b5FLHMkA] create_mapping [doc]
这就有啦

8.打开kibana页面创建nginx索引

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

9.添加nginx可视化

nginx状态码

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

nginx pv值

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

nginx访问趋势

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

nginx前十访问量

在这里插入图片描述

在这里插入图片描述

添加可视化

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

名鸣明～
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Centos7部署EFK并收集日志
weixin_45203131的博客
01-28 4294
架构图： Filebeat收集json格式的nginx日志 1）停止nginx和filebeat 2）清空nginx日志 > /var/log/nginx/access.log 3）修改日志格式为json格式： log_format json '{"time_local": "$time_local", ' '"remote_addr": "$remote_addr", ' .
Centos7--EFK监控nginx日志
Aice_Li的博客
09-17 392
192.168.227.170 192.168.227.171 192.168.227.173 三台都安装zookeeper和kafka 时间同步 修改主机名 三台都配置/etc/hosts文件 测试能否ping通 1.安装java环境 2.安装zookeeper 在最下面添加三行： server.1=192.168.227.170:2888:3888 server.2=192.168.227.171:2888:3888 server.3=192.168.227.173:2888:3888 启动zookee
EFK+采集nginx日志一键部署脚本使用说明
暴躁程序员的博客
10-09 455
【点击下载】 4台centos7 192.168.59.130 jdk,zookeeper,kafka,filebeat，elasticsearch 192.168.59.131 jdk,zookeeper,kafka,logstash 192.168.59.132 jdk,zookeeper,kafka，kibana 192.168.59.133 一键部署 192.168.59.133上传EFK脚本 安装ansible yum search ansible yum -y install centos-r
efk介绍及安装部署
最新发布
Linux运维老纪的博客
06-22 1166
EFK 不是一个软件，而是一套解决方案。EFK 是三个开源软件的缩写，Elasticsearch，FileBeat，Kibana。其中 ELasticsearch 负责日志分析和存储，FileBeat 负责日志收集，Kibana 负责界面展示。它们之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志分析系统解决方案，今天给大家分享如何搭建efk.
centos 7 EFK监控nginx
zai路上的博客
07-06 818
搭建EFK架构 安装kafka： https://blog.csdn.net/RoninLJH/article/details/107028599 安装filebeat： https://blog.csdn.net/RoninLJH/article/details/107111943 安装ELK： https://blog.csdn.net/RoninLJH/article/details/107006273 需要修改filebeat [root@kafka01 ~]# vim /etc/filebeat/
ELK 收集 Nginx 日志
热门推荐
王清欢的博客
03-13 1万+
01 安装 Nginx 和 ab 工具 1.1 安装nginx sudo apt-get install nginx -y # 安装Nginx sudo apt-get install apache2-utils -y # Ubuntu安装ab工具 sudo yum -y install httpd-tools 0y # CentOS安装ab工具 在线安装完成后，Nginx主要文件目录构成如下 /etc/nginx # 配置文件 /etc/nginx/sites-available # 虚拟主机 /u
centos 7 EFK安装部署监控nginx
RoninLJH的博客
07-06 262
搭建EFK架构 安装kafka： https://blog.csdn.net/RoninLJH/article/details/107028599 安装filebeat： https://blog.csdn.net/RoninLJH/article/details/107111943 安装ELK： https://blog.csdn.net/RoninLJH/article/details/107006273 需要修改filebeat [root@kafka01 ~]# vim /etc/filebeat/
部署基于efk+logstash+kafka构建日志收集平台并对nginx日志进行分析【待执行】
Lenhart001的博客
10-24 728
Filebeat采集日志kafka topic存起来日志->logstash去kafka获取日志，进行格式转换->elasticsearch->kibana。
EFK——安装部署（监控nginx日志）
qq_49296785的博客
09-20 797
EFK安装部署_监控nginx日志环境：开始部署：1、修改主机名2、修改hosts文件3、时间同步4、关闭防火墙5、安装jdk6、安装zookeeper7、编辑zoo.cfg文件8、创建data目录9、配置myid10、运行zookeeper服务11、查看zookeeper状态12、安装kafka13、编辑/usr/local/kafka/config/server.properties14、启动kafka15、创建一个topic16、模拟生产者17、模拟消费者18、开始模拟19、查看当前的topic20、
kubernetes 集群利用 efk 收集容器日志
以梦为马|越骑越傻
08-03 745
找到导航栏的 logtrail，然后在输入框输入 pod_name: “” 来看指定容器的日志。apply 之后，就可以使用任一节点的 ip 加上 30007 去访问 kibana 的界面。以下只提供 yaml 文件，大家自己按照下面的顺序整理，然后依次 apply 即可。不一定会立刻生成，具体要看实际的环境是否有 pod 产生日志，需要等一会再看看。创建完 pvc 后，需要确认一下 pvc 是否为 Bound 状态。编写 dockerfile。
Centos7环境下Nginx版本升级方式及步骤
11-12
在CentOS7环境中，对Nginx进行版本升级是一个重要的任务，这可能是因为新版本提供了更多的功能、性能优化或安全修复。本篇文章将详细介绍两种在CentOS7上升级Nginx的方法：YUM upgrade和源码平滑升级，并提供相关的...
CentOS 7中Nginx日志定时拆分实现过程详解
09-14
在CentOS 7环境中，我们可以使用shell脚本配合cron定时任务来实现Nginx日志的定时拆分。以下将详细介绍这一过程。 首先，我们需要编写一个用于拆分日志的shell脚本，例如名为`splitNginxLog.sh`。这个脚本主要负责...
CentOS 7下安装Nginx服务器
09-30
在本文中，我们将深入探讨如何在CentOS 7操作系统上安装Nginx服务器。Nginx是一款高性能的HTTP和反向代理服务器，以其高效的性能、稳定性以及低内存占用而受到广泛使用。下面是安装Nginx的详细步骤： 一、安装环境...
centos7离线部署nginx-docker
10-29
centos7离线部署nginx-docker，需要的可以下载免费公开，记录自己的一次学习 centos7离线部署nginx-docker，需要的可以下载免费公开，记录自己的一次学习
centos7.6离线安装nginx
11-18
在Linux环境中，CentOS 7.6是一个广泛使用的操作系统，而Nginx是一款高性能的Web服务器和反向代理服务器，常用于网站托管和负载均衡。本文将详细介绍如何在CentOS 7.6上进行离线安装Nginx，这对于网络环境不稳定或者...
Centos7 悟空crm安装部署
Q274948451的博客
11-09 5250
准备一台Centos7的虚拟机 关掉防火墙 [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# setenforce 0 1.准备jdk环境 [root@localhost ~]# rpm -ivh jdk-8u131-linux-x64_.rpm 准备中... ################################# [100%] 正在升级/安装... 1:
Centos7 kvm虚拟化安装使用
Q274948451的博客
10-30 2801
准备环境 1. 开启处理器中的虚拟化 Intel VT-x/EPT或AMD-V/RVI(V)选项 2. 启动虚拟机并查看机器是否支持KVM 3. 关掉防火墙 [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# setenforce 0 [root@localhost ~]# 4. 安装并启动kvm [root@localhost ~]# yum install -y qemu-kvm libvirt virt-instal
Centos7 saltstack简介 服务部署
Q274948451的博客
11-12 2743
saltstack 简介 1.Saltstack使用Python开发，是一个非常简单易用和轻量级的管理工具。由Master和Minion构成，通过ZeroMQ进行通信,速度快 2.Saltstack的master端监听4505与4506端口，4505为salt的消息发布系统，4506为salt客户端与服务端通信的端口 3.salt客户端程序不监听端口，客户端启动后，会主动连接master端注册，然后一直保持该TCP连接，master通过这条TCP连接对客户端控制 部署服务 准备两台Centos7 虚拟机
Centos7 离线安装nginx
05-29
CentOS 7 离线安装 Nginx 需要以下步骤： 1.首先，需要下载 Nginx 的离线安装包，可以在官网上下载，或者从其他可靠渠道下载。 2.将下载好的安装包传到 CentOS 7 服务器上。 3.解压缩安装包到指定目录，可以使用...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值