ELK+kafka+filebeat实现nginx日志收集

最新推荐文章于 2024-09-21 22:00:56 发布
最新推荐文章于 2024-09-21 22:00:56 发布
阅读量878 收藏 6
点赞数
文章标签： kafka elk nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ethnicitybeta/article/details/122670945
版权

工作流如下

nginx产生日志，filebeat收集日志推送到kafka，logstash从kafka获取到数据，推送到es处理，最后kibana在页面展示

服务规划

#ES服务三台
10.88.0.250    10.88.0.251     10.88.0.252
#kafka一台（自带zk）
10.88.0.252

#logstash一台
10.88.0.250
#kibana一台
10.88.0.250
#软件管理方式，supervisor
#pip  install supservisor
#echo_supervisord_conf  >/etc/supervisord.conf
#cat /etc/supervisord.conf
[include]
files = /etc/supervisord/*.conf
#mkdir -p /etc/supervisord
#supervisord  -c /etc/supervisord.conf
#jdk环境
#ll /soft/jdk1.8.0_191/
#cat  /etc/profile
export JAVA_HOME=/soft/jdk1.8.0_191
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

列出使用的软件，软件自带版本

elasticsearch-7.4.2-linux-x86_64.tar.gz
filebeat-7.4.2-linux-x86_64.tar.gz
kibana-7.4.2-linux-x86_64.tar.gz
logstash-7.4.2.tar.gz
kafka_2.13-2.4.1.tar.gz

首先ES环境的部署

useradd work 三台机器都要创建ES的管理用户，ES无法用root用户启动

节点-1 10.88.0.250

#ll /soft/elasticsearch-7.4.2/
#grep -Ev '^#|^$' /soft/elasticsearch-7.4.2/config/elasticsearch.yml 
cluster.name: cluster-es
node.name: node-1
network.host: 0.0.0.0
network.publish_host: 10.88.0.250
node.master: true
node.data: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["10.88.0.250:9300", "10.88.0.251:9300","10.88.0.252:9300"]
cluster.initial_master_nodes: ["10.88.0.250", "10.88.0.251","10.88.0.252"]
http.cors.enabled: true
http.cors.allow-origin: "*"
#su work
#cd /soft/elasticsearch-7.4.2/bin/
#./elasticsearch -d  #启动服务即可

节点-2 10.88.0.251

#ll /soft/elasticsearch-7.4.2/
#grep -Ev '^#|^$' /soft/elasticsearch-7.4.2/config/elasticsearch.yml 
cluster.name: cluster-es
node.name: node-2
network.host: 0.0.0.0
network.publish_host: 10.88.0.251
node.master: true
node.data: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["10.88.0.250:9300", "10.88.0.251:9300","10.88.0.252:9300"]
cluster.initial_master_nodes: ["10.88.0.250", "10.88.0.251","10.88.0.252"]
http.cors.enabled: true
http.cors.allow-origin: "*"
#su work
#cd /soft/elasticsearch-7.4.2/bin/
#./elasticsearch -d  #启动服务即可

节点-3 10.88.0.252

#ll /soft/elasticsearch-7.4.2/
#grep -Ev '^#|^$' /soft/elasticsearch-7.4.2/config/elasticsearch.yml 
cluster.name: cluster-es
node.name: node-3
network.host: 0.0.0.0
network.publish_host: 10.88.0.252
node.master: true
node.data: true
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["10.88.0.250:9300", "10.88.0.251:9300","10.88.0.252:9300"]
cluster.initial_master_nodes: ["10.88.0.250", "10.88.0.251","10.88.0.252"]
http.cors.enabled: true
http.cors.allow-origin: "*"
#su work
#cd /soft/elasticsearch-7.4.2/bin/
#./elasticsearch -d  #启动服务即可

------------------------------------------------------------------------------------------------------------------------------------------------

kafka的部署

在服务器10.88.0.252上

#ll /soft/kafka_2.13-2.4.1/
#grep -Ev '^#|^$'  /soft/kafka_2.13-2.4.1/config/server.properties 
broker.id=0
listeners=PLAINTEXT://10.88.0.252:9092
advertised.listeners=PLAINTEXT://10.88.0.252:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.88.0.252:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

#zk 配置
[root@10.88.0.252 config]#grep -Ev '^#|^$'  /soft/kafka_2.13-2.4.1/config/zookeeper.properties 
dataDir=/tmp/zookeeper
clientPort=2181
maxClientCnxns=0
admin.enableServer=false

supervisor的服务配置

#cat /etc/supervisord/kafka.conf 
[program:kafka_service]
command = /soft/kafka_2.13-2.4.1/bin/kafka-server-start.sh config/server.properties
directory = /soft/kafka_2.13-2.4.1/
process_name = %(program_name)s_%(process_num)s
numprocs = 1
autorestart = true
startsecs = 1
stdout_logfile_maxbytes = 50MB
stdout_logfile_backups = 20
stdout_logfile = /var/log/kafka_service.log
stderr_logfile = /var/log/kafka_service_error.log
#cat /etc/supervisord/zk.conf 
[program:kafka_zk]
command = /soft/kafka_2.13-2.4.1/bin/zookeeper-server-start.sh config/zookeeper.properties
directory = /soft/kafka_2.13-2.4.1/
process_name = %(program_name)s_%(process_num)s
numprocs = 1
autorestart = true
startsecs = 1
stdout_logfile_maxbytes = 50MB
stdout_logfile_backups = 20
stdout_logfile = /var/log/kafka_zk.log
stderr_logfile = /var/log/kafka_zk_error.log

------------------------------------------------------------------------------------------------------------------------------------------------

#logstash服务配置

在服务器10.88.0.250上

#cd /soft/logstash-7.4.2/
#grep -Ev '^#|^$' /soft/logstash-7.4.2/config/logstash.yml 
path.data: /var/lib/logstash/data
path.logs: /var/lib/lofstash/logs
http.host: "0.0.0.0"
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.hosts: ["http://10.88.0.250:9200", "http://10.88.0.252:9200","http://10.88.0.252:9200"]
#grep -Ev '^#|^$' /soft/logstash-7.4.2/config/logstash.conf
input {
    kafka {
        bootstrap_servers => "10.88.0.252:9092"
        topics => ["xmw-php-logs"]
        codec => "json"
        consumer_threads => 1
        client_id => "logstash20190702"
        group_id => "logstash20190702"
    }
}
filter {
  grok {
    patterns_dir => ["./patterns"]
    match => {
        "message" => "\[%{WORD:[data][level]}\] %{TIMESTAMP_ISO8601:[data][timestamp]} traceId:%{LOGBACK_WORD:[data][traceId]} spanId:%{LOGBACK_WORD:[data][spanId]} applicationName:%{LOGBACK_WORD:[data][application]} - %{GREEDYDATA:[data][textMessage]}"
    }
  }
  grok {
     patterns_dir => ["./patterns"]
     match => {      
	"[data][textMessage]" => "\[%{NUMBER:[data][elapsed]}\(ms\)\] \[%{NUMBER:[data][memory]}\(MB\)\] \[%{LOGBACK_WORD:[data][url]}\] %{GREEDYDATA:[data][text]}"
   }
 }
grok {
    patterns_dir => ["./patterns"]
    match        => {
      "message"  => "%{LOGBACK_WORD:[data][application]} \[%{TIMESTAMP_ISO8601:[data][timestamp]}\] %{IP:[data][client_ip]} %{USER:[data][user]} %{WORD:[data][scheme]} %{LOGBACK_WORD:[data][uri]} %{WORD:[data][method]} \"%{GREEDYDATA:[data][query_string]}\" body %{NUMBER:[data][body_size]} %{NUMBER:[data][status]} %{LOGBACK_WORD:[data][real_ip]} %{LOGBACK_WORD:[data][x_forwarded_for]} %{LOGBACK_WORD:[data][upstream_addr]} %{LOGBACK_WORD:[data][upstream_status]} %{LOGBACK_WORD:[data][traceId]} %{LOGBACK_WORD:[data][spanId]} %{NUMBER:[data][elapsed]} %{LOGBACK_WORD:[data][upstream_response_time]} %{LOGBACK_CHAR:[data][http_referer]} %{GREEDYDATA:[data][user_agent]}"
    }
  }
 grok {    
    patterns_dir => ["./patterns"]
    match        => {     
      	"message"  => "%{LOGBACK_WORD:[data][application]} \[%{TIMESTAMP_ISO8601:[data][timestamp]}\] %{IP:[data][client_ip]} %{USER:[data][user]} %{WORD:[data][scheme]} %{LOGBACK_WORD:[data][uri]} %{WORD:[data][method]} \"%{GREEDYDATA:[data][query_string]}\" \"%{GREEDYDATA:[data][body]}\" %{NUMBER:[data][body_size]} %{NUMBER:[data][status]} %{LOGBACK_WORD:[data][real_ip]} %{LOGBACK_WORD:[data][x_forwarded_for]} %{LOGBACK_WORD:[data][upstream_addr]} %{LOGBACK_WORD:[data][upstream_status]} %{LOGBACK_WORD:[data][traceId]} %{LOGBACK_WORD:[data][spanId]} %{NUMBER:[data][elapsed]} %{LOGBACK_WORD:[data][upstream_response_time]} %{LOGBACK_CHAR:[data][http_referer]} %{GREEDYDATA:[data][user_agent]}"
    }
  }
  date {
    match => ["[data][timestamp]", "yyyy-MM-dd HH:mm:ss.SSS", "ISO8601"]
    target => "@timestamp"
    timezone => "+08:00"
  }
  json {
    skip_on_invalid_json => true
    source => "[data][textMessage]"
    target => "[data][jsonMessage]"
  }
  ruby {
    code => "
      event.set('[data][message][client_ip]', event.get('[data][jsonMessage][client_ip]')) if event.get('[data][jsonMessage][client_ip]')
      event.set('[data][message][params][operateType]', event.get('[data][jsonMessage][params][operateType]')) if event.get('[data][jsonMessage][params][operateType]')
      event.set('[data][message][params][tableId]', event.get('[data][jsonMessage][params][tableId]')) if event.get('[data][jsonMessage][params][tableId]')
      event.set('[data][message][user_id]', event.get('[data][jsonMessage][user_id]')) if event.get('[data][jsonMessage][user_id]')
      event.set('[data][message][action_type]', event.get('[data][jsonMessage][action_type]')) if event.get('[data][jsonMessage][action_type]')
      event.set('[data][message][group_id]', event.get('[data][jsonMessage][group_id]')) if event.get('[data][jsonMessage][group_id]')
      event.set('[data][message][app_id]', event.get('[data][jsonMessage][app_id]')) if event.get('[data][jsonMessage][app_id]')
      event.set('[data][host]', event.get('[host][hostname]'))
      event.set('[data][message][uid]', event.get('[data][jsonMessage][0][uid]')) if event.get('[data][jsonMessage][0][uid]')
      event.set('[data][message][url]', event.get('[data][jsonMessage][0][url]')) if event.get('[data][jsonMessage][0][url]')
      event.set('[data][message][user_ip]', event.get('[data][jsonMessage][user_ip]')) if event.get('[data][jsonMessage][user_ip]')
      event.set('[data][message][account]', event.get('[data][jsonMessage][account]')) if event.get('[data][jsonMessage][account]')
      event.set('[data][message][performTime]', event.get('[data][jsonMessage][0][performTime]')) if event.get('[data][jsonMessage][0][performTime]')
      event.set('[data][message][request][uri]', event.get('[data][jsonMessage][request][uri]')) if event.get('[data][jsonMessage][request][uri]')
      event.set('[data][message][response][responseTime]', event.get('[data][jsonMessage][response][responseTime]')) if event.get('[data][jsonMessage][response][responseTime]')
      event.set('[data][message][response][status]', event.get('[data][jsonMessage][response][status]')) if event.get('[data][jsonMessage][response][status]')
      event.set('[data][message][invokeClientAddr]', event.get('[data][jsonMessage][invokeClientAddr]')) if event.get('[data][jsonMessage][invokeClientAddr]')
      event.set('[data][message][invokeServerAddr]', event.get('[data][jsonMessage][invokeServerAddr]')) if event.get('[data][jsonMessage][invokeServerAddr]')
      event.set('[data][message][invokeMethod]', event.get('[data][jsonMessage][invokeMethod]')) if event.get('[data][jsonMessage][invokeMethod]')
      event.set('[data][message][consumeTime]', event.get('[data][jsonMessage][consumeTime]')) if event.get('[data][jsonMessage][consumeTime]')
      event.set('[data][message][moduleName]', event.get('[data][jsonMessage][moduleName]')) if event.get('[data][jsonMessage][moduleName]')
      event.set('[data][message][domain]', event.get('[data][jsonMessage][domain]')) if event.get('[data][jsonMessage][domain]')
      
    "
  }
  if ![data][application] {
   mutate { add_field => { "[data][application]" => "xmw-default" } }
  }
  mutate {
    remove_field => ["cloud", "beat", "host", "@version", "prospector", "input", "fields", "[data][timestamp2]", "[data][textMessage]", "[data][jsonMessage]", "ecs", "agent", "tags", "[data][text]"]
  }
  mutate {    convert => {         
	"[data][elapsed]"                => "float"         
	"[data][memory]"                 => "integer"         
	"[data][status]"                 => "integer"         
	"[data][upstream_status]"        => "integer"         
	"[data][body_size]"              => "integer"         
	"[data][upstream_response_time]" => "float"     
	}
  }
}
output {
  elasticsearch {
    hosts => ["10.88.0.250:9200","10.88.0.251:9200","10.88.0.252:9200"]
    index => "xm-%{[data][application]}-%{+YYYY.MM}"
  }
}

#规则文件创建

#cat  /soft/logstash-7.4.2/patterns/extra 
LOGBACK_WORD [:\w+\./-]*
LOGBACK_CHAR [^\s]+
LOGBACK_BRACKET [^\]]+

ruby相关的设置（按需，不一定需要）

#cat /soft/logstash-7.4.2/ruby/filterPwd.rb 
# the value of `params` is the value of the hash passed to `script_params`
# in the logstash configuration
#def register(params)
    #todo
#end
# the filter method receives an event and must return a list of events.
# Dropping an event means not including it in the return array,
# while creating new ones only requires you to add a new instance of
# LogStash::Event to the returned array
def filter(event)
    queryRegex = /[&]?password=([^&]+[&]?)/
    bodyFormRegex = /[-]+[-\w:;\s\\]+name=[\w\\]+password[\w\\]+[^-]/
    bodyJsonRegex = /[^,{]+password[^,}]+[,]?/
    _message = event.get('message').gsub(queryRegex, "").sub(bodyFormRegex, "").sub(bodyJsonRegex, "")
    event.set('message', _message)
    return [event]
    #if queryStr = event.get('[data][query_string]')
    #    event.set('[data][query_string]', queryStr.sub(queryRegex, ""))
    #end
    #bodyStr = event.get('[data][body]')
    #if bodyStr =~ queryRegex
    #    event.set('[data][body]', bodyStr.sub(queryRegex, ""))
    #elsif bodyStr =~ bodyFromRegex
    #    event.set('[data][body]', bodyStr.sub(bodyFormRegex, ""))
    #elsif bodyStr =~ bodyJsonRegex
    #    event.set('[data][body]', bodyStr.sub(bodyJsonRegex, ""))
    #end
    #return [event]
end

#supervisor控制服务的设置

#cat /etc/supervisord/logstash.conf 
[program:logstash]
command = /soft/logstash-7.4.2/bin/logstash -f /soft/logstash-7.4.2/config/logstash.conf
directory = /soft/logstash-7.4.2/
process_name = %(program_name)s_%(process_num)s
numprocs = 1
autorestart = true
startsecs = 1
stdout_logfile_maxbytes = 50MB
stdout_logfile_backups = 20
stdout_logfile = /var/log/logstash.log
stderr_logfile = /var/log/logstash.log

------------------------------------------------------------------------------------------------------------------------------------------------

kibana的配置

在服务器10.88.0.250上

#grep -Ev '^#|^$' /soft/kibana-7.4.2/config/kibana.yml 
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://10.88.0.250:9200","http://10.88.0.251:9200","http://10.88.0.252:9200"]
logging.dest: /var/log/kibana/kibana.log
i18n.locale: "zh-CN"

supervisor控制kibana

#cat  /etc/supervisord/kibana.conf 
[program:kibana]
command = /soft/kibana-7.4.2/bin/kibana --allow-root
directory = /soft/kibana-7.4.2
process_name = %(program_name)s_%(process_num)s
numprocs = 1
autorestart = true
startsecs = 1
stdout_logfile_maxbytes = 50MB
stdout_logfile_backups = 20
stdout_logfile = /var/log/kibana.log
stderr_logfile = /var/log/kibana.log

------------------------------------------------------------------------------------------------------------------------------------------------

filebeat的设置

在服务器10.88.0.251上

#ll /soft/filebeat-7.4.2/
#grep -Ev '^#|^$' /soft/filebeat-7.4.2/filebeat.yml 
filebeat.inputs:
- type: log
  enabled: true
  json.keys_under_root: true
  json.overwrite_keys: true
  paths:
    - /var/log/nginx/access.log
  fields:
    log_topics: xmw-php-logs
- type: log
  enabled: true
  json.keys_under_root: true
  json.overwrite_keys: true
  paths:
    - /var/log/nginx/access.log
  fields:
    log_topics: shequ-nginx
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
output.kafka:
  hosts: ["10.88.0.252:9092"]
  #topic: product-nginx-worldapi
  topic: '%{[fields][log_topics]}'
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

supervisor控制的部分

#cat  /etc/supervisord/filebeat.conf 
[program:filebeat]
command = /soft/filebeat-7.4.2/filebeat   -c /soft/filebeat-7.4.2/filebeat.yml
directory = /soft/filebeat-7.4.2/
process_name = %(program_name)s_%(process_num)s
numprocs = 1
autorestart = true
startsecs = 1
stdout_logfile_maxbytes = 50MB
stdout_logfile_backups = 20
stdout_logfile = /var/log/filebeat.log
stderr_logfile = /var/log/filebeat.log

在10.88.0.251启动nginx服务

#yum -y install   nginx
#cat /etc/nginx/nginx.conf   #注重log_format设置
log_format elk_nobody 'nginx-$http_host [$time_iso8601] $remote_addr $remote_user $scheme $uri $request_method "$query_string" body $body_bytes_sent $status $http_x_real_ip $http_x_forwarded_for $upstream_addr $upstream_status $http_trace_id $http_span_id $request_time $upstream_response_time $http_referer $http_user_agent';
    access_log  /var/log/nginx/access.log  elk_nobody;

最后在kibana上创建索引

设置---索引模式--创建索引模式（索引模式，搜索xm*）

点击创建索引模式就可以创建成功

进入discover可以查看刚才添加的nginx日志（有访问才会触发，所以多访问几次nginx）

这样就创建成功了

完颜振江
关注
Filebeat 采集 Nginx 日志
叶康铭的博客
10-20 4057
Nginx 日志可用于分析用户地址位置，行为画像等，如何通过 Elastic Stack 进行一站式的数据采集，数据清洗，数据落地，数据可视化，让数据发挥真正的价值呢？ 架构设计 涉及到 Elastic Stack 中 Filebeat 是用于采集 Nginx 相关的日志， Elasticsearch 是用于对于数据落地存储和搜索的引擎， Kibana 是用于对数据可视化的工具。 在 Nginx 中相关的日志是存储在 /var/log/nginx 目录下的，分别是访问日志 access.log，错误日志.
ELK+Kafka+Filebeat搭建日志系统
lxh_hxy的博客
09-10 522
1、组件介绍 Elasticsearch：   是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 Logstash:   主要是用来日志的收集、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日
filebeat收集nginx日志的配置文件
02-11
本资源结合我的博客一并使用，用于解决filebeat收集nginx日志用的
ELK+KAFKA+FILEBEAT集群实战（nginx访问日志收集）
xiaowaixi的博客
10-13 590
组件介绍 1、Elasticsearch： 主要用来日志存储 2、Logstash: 主要用来日志的搜集（filebeat） 3、Kibana: 主要用于日志的展示 4、Kafka：是一个分布式的消息发布—订阅系统（kafka其实是消息队列） 5、Filebeat: 轻量级数据收集引擎 ELK作用 建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一：Elasticsearch集群部署 #我们需要准备的安装包 [root@server7 ~]# ls anaconda-ks.cfg
ELK平台搭建+filebeat收集nginx日志_配置filebeat实现nginx日志收集以及grok过滤
最新发布
2401_87373757的博客
09-21 855
进入安装目录/usr/local/kibana/修改config下的kibana.yml。两台实验虚拟机搭载centos6.8，ELK服务器是4G内存，Web服务器是1G内存。修改配置文件内容/usr/local/filebeat/filebeat.yml。启动成功浏览器访问http://192.168.10.129:5601/在web服务器上安装filebeat用于收集日志，和传输日志数据。浏览器访问http://192.168.10.130/执行启动命令：nohup bin/kibana &
10.ELK-使用filebeat收集nginx日志
JCWang的博客
07-19 395
使用filebeat收集nginx日志 1.首先安装一个nginx进行测试 yum install nginx -y systemctl start nginx 查看监听端口是否起来 2.在浏览器访问测试 3.删除目录下现有内容，追加自己的内容 访问测试 4.下载filebeat,统一放在/opt/es-software目录下 5.安装filebeat 6.查看一下filebeat有哪些配置文件 7.进入配置文件目录，将主配置文件重新命名 8.重新创建一个新的配置文件 vim fileb
单机部署ELK+kafka收集nginx日志
奥给利
09-02 350
单机部署ELK+kafka收集nginx日志 docker-compos.yml version: '3' services: es_cluster1: image: elasticsearch:6.6.2 restart: always container_name: es_cluster1 hostname: es_cluster1 ports: - "9200:9200" volumes: - /srv/es1/elast
linux平台centos7系统 - ELK+logback+kafka+nginx 搭建分布式日志分析平台.doc
03-23
通过整合ELK、logback、kafka和nginx，我们可以构建一个强大的分布式日志分析平台，实现日志的实时收集、处理、存储和可视化，从而在大型企业环境中有效监控和诊断问题。这个平台能够适应不同开发语言的应用，同时...
ELK——ELK+filebeat+kafka部署——（2）部署nginx+filebeat
w1206507055的博客
06-17 454
ELK——ELK+filebeat+kafka部署——（2）部署nginx+filebeat
ELK日志管理系统（ELK+Kafka+Filebeat）虚拟机实现
独化蓝翅鸟，越岭万昆仑
01-27 2432
1. 整体架构 2. 环境、软件准备 虚拟机：VMware® Workstation 15 Pro Centos7 镜像：CentOS-7-x86_64-DVD-2003 2.1 服务器信息 2.2 账户信息 3. 服务器基础配置 3.1 初始化配置 [root@elktest1 home]# yum install lrzsz # 下载上传下载工具 [root@elktest1 home]# yum install vim # 安装 vim [root@elktest1 home]# yum i
ELK+Filebeat+Kafka+Zookeeper日志分析系统搭建
wwwu1998的博客
07-14 994
ELK+Filebeat+Kafka+Zookeeper日志分析系统搭建
日志收集分析平台02（nginx-filebeat-kafka-zookeeper）
qq_53980494的博客
07-22 710
日志收集分析平台是一个集Linux运维，python开发的高难度web项目。其中用到nginx反向代理服务器，filebeat收集日志，kafka中间件集群负责业务解耦，zookeeper对kafka进行管理，然后将数据交由消费者清洗存入数据库，再用python开发出web服务平台提取数据库字符段进行数据的监控、报警等功能。......
基于filebeat、logstash两种方式采集nginx日志
最美dee时光的博客
04-16 1586
前言 由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本篇通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。 背景 众所周知，ELK技术栈是采集、分析日志的利器。所以这里介绍的是从nginx采集日志到ES，当然至于日志采集以后存到看大家的需要。
ELK+Filebeat+Kafka构建Nginx日志分析平台
男儿当自强
04-16 291
1 软件版本 drwxr-xr-x. 11 tech root 205 4月 15 16:19 elasticsearch-7.1.0 drwxr-xr-x. 6 tech root 224 4月 15 16:07 filebeat-7.1.0 drwxr-xr-x. 7 root root 156 4月 15 16:09 kafka_2.13-2.7.0 drwxr-xr-x. 13 tech root 246 4月 12 19:25 kibana-7.1.0-linux
filebeat收集日志，传到kafka，logstash过滤nginx，利用kibana显示nginx客户ip分布图
张震的博客
07-20 4621
配置nginx日志格式 nginx 日志格式。 http { log_format main '$remote_addr - [$time_local] $request_method "$uri" "$query_string" ' '$status $body_bytes_sen
filebeat收集json格式的nginx程序日志（二）
江晓龙的博客
05-31 1476
filebeat收集json格式的nginx日志 1.为什么要收集json格式的日志类型 由于nginx普通日志收集过来的日志内容都是存在一个字段中的值，我们想单独对日志中的某一项进行查询统计，比如我只想查看某个IP请求了我那些页面，一共访问了多少次，在普通的日志中是无法过滤的，不是很满意 如下图，可以明显的看出，收集过来的日志信息都是在一块的，不能够根据某一项内容进行查询 因此就需要让filebeat收集json格式日志内容，把日志内容分成不同的字段，也就是Key/value，这样我们就可以根据一个字段
filebeat读取nginx日志并写入kafka
weixin_34044273的博客
11-29 990
filebeat写入kafka的配置： filebeat.inputs: - type: log paths: - /tmp/access.log tags: ["nginx-test"] fields: type: "nginx-test" log_topic: "nginxmessages" fields_under_root: true process...
ELk + kafka + filebeat日志系统搭建
guanfengliang的专栏
11-09 1254
一 日志系统架构图（简易版）： 二、elk安装： 可以参考网址：https://www.iyunv.com/thread-443374-1-1.html 2.1 配置es 解压文件 1 tar zxvf elasticsearch-6.2.4.tar.gz 由于es不能用root账户启动，所以需要添加一个非root账户 1 useradd es 修改es文件夹的权限 1
ELK+Kafka+Filebeat 企业内部日志分析系统（版本6.5.4）
hanjinjuan的博客
09-23 1306
一、ELK ELK:日志搜集平台 ELK由ElasticSearch、Logstash和Kibana三个开源工具组成： 1、组件介绍 （1）Elasticsearch ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志 特点：分布式，零配置，自动发现，索引自动分片，索引副本机制，多数据源等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够
构建ELK+Kafka+Filebeat日志管理架构与部署教程
"本文档主要介绍了ELK+Kafka+Filebeat日志系统的架构设计、部署流程以及关键技术的应用。ELK堆栈（Elasticsearch、Logstash和Kibana）是常见的日志管理和分析工具链，结合Kafka作为消息队列和Filebeat作为数据收集器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

完颜振江

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值