filebeat_elk多机环境入门探测（五）

最新推荐文章于 2021-07-27 19:15:16 发布
最新推荐文章于 2021-07-27 19:15:16 发布
阅读量88 收藏
点赞数
文章标签： 数据库 python 操作系统
原文链接：https://my.oschina.net/u/1762991/blog/887787
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

接着上一篇filebeat_elk多机环境入门探测（四）

在test1和test2上，使用filebeat收集java日志
[root@test2 ~]# cat /etc/filebeat/filebeat.yml
##################################################### filebeat #######################################################
filebeat:
  prospectors:
    -
      paths:
        - /var/log/messages
      input_type: log
      document_type: messages

    -
      paths:
        - /var/log/secure
      input_type: syslog
      document_type: loginmsg

    -
      paths:
        - /var/log/nginx_access.log 
      input_type: log
      document_type: nginxacclog

    -
      paths:
        - /usr/local/tomcat/logs/catalina.out
      input_type: catalina
      document_type: catalinalog
#      multiline:
#          pattern: '^[[:space:]]'
#          negate: true
#          match: after

  registry_file: /var/lib/filebeat/registry

##################################################### output #######################################################
#output:
#  logstash:
#    hosts: ["192.168.40.83:5044"]
#  file:
#    path: "/tmp/access.log"
output:
  redis:
    host: "192.168.40.103"
    port: 6379
    save_topology: true
    index: "filebeat"
    db: 0
    db_topology: 1
    timeout: 5
    reconnect_interval: 1

##################################################### Logging #######################################################
logging:
  files:
    rotateeverybytes: 10485760 # = 10MB


[root@test1 ~]# cat /etc/filebeat/filebeat.yml
##################################################### filebeat #######################################################
filebeat:
  prospectors:
    -
      paths:
        - /var/log/messages
      input_type: log
      document_type: messages

    -
      paths:
        - /var/log/secure
      input_type: syslog
      document_type: loginmsg

    -
      paths:
        - /usr/local/tomcat/logs/catalina.out
      input_type: catalina
      document_type: catalinalog
#      multiline:
#          pattern: '^[[:space:]]'
#          negate: true
#          match: after

  registry_file: /var/lib/filebeat/registry

##################################################### output #######################################################
#output:
#  logstash:
#    hosts: ["192.168.40.83:5044"]
output:
  redis:
    host: "192.168.40.103"
    port: 6379
    save_topology: true
    index: "filebeat"
    db: 0
    db_topology: 1
    timeout: 5
    reconnect_interval: 1

##################################################### Logging #######################################################
logging:
  files:
    rotateeverybytes: 10485760 # = 10MB

logstash配置为：
[root@iptables2 ~]# cat ver9.conf
input {
#    beats {
#        port => 5044
#        type => "syslog"
#    }
    redis {
        host => "192.168.40.103"
        data_type => "list"
        type => "redis-input"
        key => "filebeat"
    }
}

filter {
    if [type] == "filebeat" {
        grok {
            match => [ "message", "%{SYSLOGLINE}" ]
            overwrite => [ "message" ]
        }
    }
    date {
        match => [ "timestamp", "MMM dd HH:mm:ss", "MMM  d HH:mm:ss" ]
    }
    if [type] == "nginxacclog" {
        grok {
            match => {
                "message" => "%{IP:client} - (?:%{USERNAME:remote_user}|-) \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" \"%{NUMBER:request_time:float}\" %{INT:status} %{NUMBER:bytes} \"(?:%{URI:referer}|-)\" \"(?:%{GREEDYDATA:user_agent}|-)\" (?:%{IP:x_forword_for}|-)"
            }
        }
        date {
            match => [ "timestamp","dd/MMM/YYYY:HH:mm:ss Z" ]
        }
        urldecode {
            all_fields => true
        }
    }
}

output {
    stdout {
        codec => rubydebug
    }
    elasticsearch {
        hosts => "192.168.40.105:9200"
    }
}

 

logstash配置：
[root@iptables2 ~]# cat /usr/local/logstash/patterns/nginx
ELKTIMES %{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME}
[root@iptables2 ~]# cat define_ver3.conf
input {
    stdin {}
}

filter {
    grok {
        patterns_dir => "/usr/local/logstash/patterns/"
        match => {
            "message" => "%{IP:client} - - \[%{ELKTIMES:log_timestamp} \] \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{INT:status} %{NUMBER:bytes} \"(?:%{URI:referer}|-)\" \"(?:%{GREEDYDATA:user_agent}|-)\""
       }
    }
}

output {
    stdout {
        codec => rubydebug
    }
}
[root@iptables2 ~]# ./logstash-2.3.2/bin/logstash -f define_ver3.conf
Settings: Default pipeline workers: 2
Pipeline main started
183.228.18.94 - - [21/Apr/2017:19:13:35 ] "GET /wp-content/plugins/ueditor/ueditor/third-party/SyntaxHighlighter/shCore.js HTTP/1.1" 200 163160 "http://www.178linux.com/5848" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0"
{
          "message" => "183.228.18.94 - - [21/Apr/2017:19:13:35 ] \"GET /wp-content/plugins/ueditor/ueditor/third-party/SyntaxHighlighter/shCore.js HTTP/1.1\" 200 163160 \"http://www.178linux.com/5848\" \"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0\"",
         "@version" => "1",
       "@timestamp" => "2017-04-24T06:14:32.649Z",
             "host" => "iptables2",
           "client" => "183.228.18.94",
    "log_timestamp" => "21/Apr/2017:19:13:35",
           "method" => "GET",
          "request" => "/wp-content/plugins/ueditor/ueditor/third-party/SyntaxHighlighter/shCore.js",
     "http_version" => "1.1",
           "status" => "200",
            "bytes" => "163160",
          "referer" => "http://www.178linux.com/5848",
       "user_agent" => "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0"
}

[root@iptables2 ~]# cat define_ver3.conf
input {
    stdin {}
}

filter {
    grok {
        patterns_dir => "/usr/local/logstash/patterns/"
        match => {
            "message" => "%{IP:client} - - \[%{ELKTIMES:log_timestamp} \] \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{INT:status} %{NUMBER:bytes} \"(?:%{URI:referer}|-)\" \"(?:%{GREEDYDATA:user_agent}|-)\""
       }
    }
    date {
        match => [ "log_timestamp","dd/MMM/YYYY:HH:mm:ss" ]
    }
    urldecode {
        all_fields => true
    }
}

output {
    stdout {
        codec => rubydebug
    }
}
[root@iptables2 ~]# ./logstash-2.3.2/bin/logstash -f define_ver3.conf
Settings: Default pipeline workers: 2
Pipeline main started
183.228.18.94 - - [21/Apr/2017:19:13:35 ] "GET /wp-content/plugins/ueditor/ueditor/third-party/SyntaxHighlighter/shCore.js HTTP/1.1" 200 163160 "http://www.178linux.com/5848" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0"
{
          "message" => "183.228.18.94 - - [21/Apr/2017:19:13:35 ] \"GET /wp-content/plugins/ueditor/ueditor/third-party/SyntaxHighlighter/shCore.js HTTP/1.1\" 200 163160 \"http://www.178linux.com/5848\" \"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0\"",
         "@version" => "1",
       "@timestamp" => "2017-04-21T11:13:35.000Z",
             "host" => "iptables2",
           "client" => "183.228.18.94",
    "log_timestamp" => "21/Apr/2017:19:13:35",
           "method" => "GET",
          "request" => "/wp-content/plugins/ueditor/ueditor/third-party/SyntaxHighlighter/shCore.js",
     "http_version" => "1.1",
           "status" => "200",
            "bytes" => "163160",
          "referer" => "http://www.178linux.com/5848",
       "user_agent" => "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0"
}

logstash添加查IP的功能
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
mkdir logstash-2.3.2/conf
cp GeoLiteCity.dat logstash-2.3.2/conf
[root@iptables2 ~]# cat /usr/local/logstash/patterns/nginx
ELKTIMES %{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME}
[root@iptables2 ~]# cat ver10.conf
input {
#    beats {
#        port => 5044
#        type => "syslog"
#    }
    redis {
        host => "192.168.40.103"
        data_type => "list"
        type => "redis-input"
        key => "filebeat"
    }
}

filter {
    if [type] == "filebeat" {
        grok {
            match => [ "message", "%{SYSLOGLINE}" ]
            overwrite => [ "message" ]
        }
    }
    date {
        match => [ "timestamp", "MMM dd HH:mm:ss", "MMM  d HH:mm:ss" ]
    }
    if [type] == "nginxacclog" {
        grok {
            match => {
                "message" => "%{IP:client} - (?:%{USERNAME:remote_user}|-) \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" \"%{NUMBER:request_time:float}\" %{INT:status} %{NUMBER:bytes} \"(?:%{URI:referer}|-)\" \"(?:%{GREEDYDATA:user_agent}|-)\" (?:%{IP:x_forword_for}|-)"
            }
        }
        date {
            match => [ "timestamp","dd/MMM/YYYY:HH:mm:ss Z" ]
        }
        urldecode {
            all_fields => true
        }
    }
    if [type] == "test1log" {
        grok {
            patterns_dir => "/usr/local/logstash/patterns/"
            match => {
                "message" => "%{IP:client} - - \[%{ELKTIMES:log_timestamp} \] \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{INT:status} %{NUMBER:bytes} \"(?:%{URI:referer}|-)\" \"(?:%{GREEDYDATA:user_agent}|-)\""
            }
        }
        date {
            match => [ "log_timestamp","dd/MMM/YYYY:HH:mm:ss" ]
        }
        geoip {
            source => "client"
            target => "geoip"
            database => "/root/logstash-2.3.2/conf/GeoLiteCity.dat"
            add_field => ["[geoip][coordinates]","%{[geoip][longitude]}"]
            add_field => ["[geoip][coordinates]","%{[geoip][latitude]}"]
        }
        mutate {
            convert => ["[geoip][coordinates]","float", "bytes","integer", "bytes.raw","integer"]
        }
        urldecode {
            all_fields => true
        }
    }
}

output {
    stdout {
        codec => rubydebug
    }
    elasticsearch {
        hosts => "192.168.40.105:9200"
    }
}

[root@test1 ~]# cat /etc/filebeat/filebeat.yml
##################################################### filebeat #######################################################
filebeat:
  prospectors:
    -
      paths:
        - /var/log/messages
      input_type: log
      document_type: messages

    -
      paths:
        - /var/log/secure
      input_type: syslog
      document_type: loginmsg

    -
      paths:
        - /usr/local/tomcat/logs/catalina.out
      input_type: catalina
      document_type: catalinalog

    -
      paths:
        - /var/log/genara.log
      input_type: log
      document_type: test1log
#      multiline:
#          pattern: '^[[:space:]]'
#          negate: true
#          match: after

  registry_file: /var/lib/filebeat/registry

##################################################### output #######################################################
#output:
#  logstash:
#    hosts: ["192.168.40.83:5044"]
output:
  redis:
    host: "192.168.40.103"
    port: 6379
    save_topology: true
    index: "filebeat"
    db: 0
    db_topology: 1
    timeout: 5
    reconnect_interval: 1

##################################################### Logging #######################################################
logging:
  files:
    rotateeverybytes: 10485760 # = 10MB

kibana画图可以自己尝试

转载于:https://my.oschina.net/u/1762991/blog/887787

weixin_34417814
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
filebeat 收集json格式_Filebeat 采集日志实践经验记录
weixin_34998630的博客
01-17 1363
Filebeat 日志采集工具在日常工作中，使用场景更多的是用来采集Nginx 日志和Java 应用运行的日志了。这里简单记录一下踩到坑，和大家分享。一、Filebeat 收集Nginx 访问日志Nginx 服务记录的日志，默认都是每行一条单独的日志；所以每条日志的分割很容易处理。为了避免在日志中字段分割浪费精力，我们可以在Nginx的配置文件中，使用log_format 指令，将日志记录为Jso...
filebeat7.7.0相关详细配置预览- processors
BigManing的博客
09-01 9947
文章目录前言processor1、add_cloud_metadata2、add_cloudfoundry_metadata3、add_cloudfoundry_metadata4、add_fields5、add_host_metadata6、add_id7、add_kubernetes_metadata8、add_kubernetes_metadata9、add_locale10、add_observer_metadata11、add_process_metadata 前言 处理器用于过滤或者增强要发送的
Java中多环境Logback配置与ELK日志发送
a616735104的博客
12-03 253
Java中多环境Logback配置与ELK日志发送 一、项目基于SpringBoot实现，引入SpringBoot相关库后，本文还要讲上传到ELK的Logstash，所以需要在pom.xml中加入： <!-- https://mvnrepository.com/artifact/net.logstash.logback/logstash-logba...
filebeat收集Nginx访问日志到kafka，logstash消费到elasticsearch，kibana展示报表
习惯了想你的博客
09-25 1963
文章目录配置规则Nginxfilebeatkafkalogstash附录logstash 相关功能urldecodelogstash 写入输出kafka范例vim快捷键参考文章 需求背景：有一个对用户行为的分析需求，类似于用户在浏览某网页的时候，上报用户的行为信息。请求某个域名，参数信息带在url上面。类似于：http://www.baidu.com?content={"a:"b"}&us...
filebeat_elk多机环境入门探测（二）
weixin_34228617的博客
04-26 94
2019独角兽企业重金招聘Python工程师标准>>> ...
springboot-elk_springboot_elk_
09-29
springboot + elk集成范例
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台
01-23
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解
elk.tar.gz_elk
09-21
elk源码搭建与使用步骤，本架构采用elk+redis的方式
filebeat+kafka+ELK 6.2.4版本安装与部署
07-16
ELK日志系统搭建：filebeat -> kafka -> logstash -> elasticsearch -> kibana
ELK架构和Filebeat工作原理详解
03-01
ELK不是一款软件，而是Elasticsearch、Logstash和Kibana三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于Elastic.co公司名下，所以被简称为ELKStack。根据GoogleTrend的信息显示，ELK...
ElK分析tomcat的Catalina.out日志
weixin_33798152的博客
01-11 1033
场景：生产环境可集中式分析特定日志，便于管理，以及快速解决程序问题等。常见：nginx、apache的访问日志，错误日志 catalina.out日志等。可以把错误日志提取出并解决。安装方式：1）编译安装 常用组合 ELK+Reids+插件1.1）优点：方便管理1.2）缺点：需要手动安装配置，相对yum繁琐2）yum安装  2.1）优点：安装配置方便2.2）缺点：相对编译不太好管理（依赖关系等因素...
mybatis 忽略字段_MyBatis手把手跟我做系列(二) --- 基本CRUD操作
weixin_39771301的博客
12-24 1785
在上一章中,已经实现了将数据库表中的内容读取出来,但是结果却是不对的仔细观察上面的截图,发现数据库t_user表中的字段和User类中的属性完全一样的,数据是赋值进去了的,但是user_tel,registration_time这两个字段在User表中是以驼峰形式命名的属性,找到问题所在,其实数据库字段名和类名中的属性不匹配,引起的问题,这种问题当然很常见,所以Mybatis中有很多种办法来解决这...
5、Filebeat工作原理
weixin_34261739的博客
09-04 245
Filebeat工作原理Filebeat由两个主要组件组成：inputs和harvesters。 这些组件协同工作来查看最新文件内容并将事件数据发送到指定的输出。（注意与之前版本的不同，之前版本是prospectors和havesters）harvesterHarvester(收割机)负责读取单个文件内容。每个文件会启动一个Harvester，每个Harvester会逐行读取各个文件，并将文件内...
全方位立体监控之日志解决方案ELK（2）
Vision
06-06 2694
Logstash详细介绍下面我们将对ELK框架进行深入详细的了解，了解了其中的原理，才能选择更加高效可靠的配置方案。ElasticSearch的配置比较简单，主要性能瓶颈在于内存以及节点设置方面，Kibana的配置也较为简单，web应用无很大的优化改进空间，主要在于第三方插件的使用。下面我们主要介绍Logstash的方案设计。 Logstash使用Ruby语言编写，它编写了自己的一套DSL。Logs
filebeat_elk多机环境入门探测（一）
weixin_34026484的博客
04-26 108
2019独角兽企业重金招聘Python工程师标准>>> ...
filebeat采集多个日志（推送给ES或者logstash）
story-xu的博客
09-20 6987
filebeat采集多个日志 在使用ELK做日志分析的时候，有时需要一个filebeat采集多个日志，送给ES，或者给logstash做解析。下面举例演示以下filebeat采集messages日志，secure日志，以及nginx日志送给ES或者送给logstash做解析的正确配置方法。 一、filebeat采集日志发送给ES： 1.1、filebeat.yml 配置如下： ```bash filebeat.inputs: - type: log tail_files: true scan_
Filebeat采集多个日志
我只是个小学生 能力有限 一直抱着学习的态度
07-02 4330
采集多个日志 收集单个Nginx日志 如果有采集多个日志的需求 Filebeat采集多个日志配置 filebeat.inputs: - type: log tail_files: true backoff: "1s" paths: - /usr/local/nginx/logs/access.json.log fields: type: access fie...
ELK中指定不同的环境输出各自的索引
qq_35008624的博客
07-27 399
在elk6.8.8中，logstash的配置如下： input { tcp { port => 10004 codec => json type => imas_dev_log } } output{ if [fields][type] == "imas_dev_log" { elasticsearch { hosts => ["172.16.11.3x:9200","172.16.11.2x:9200","1.
logstash urldecode filter 插件
孙大迪迪的博客
04-30 1025
先查看下logstash是否有urldecode的插件 在logstash的安装目录的bin下执行下面命令： ./logstash-plugin list 可以看到有logstash-filter-urldecode插件 如果没有的话 可以执行如下命令进行安装： ./bin/logstash-plugin install logstash-filter-urldecode 然后配置conf文...
filebeat + elk
最新发布
04-12
Filebeat是一个轻量级的日志数据收集器，用于将日志数据从各种来源（如文件、系统日志、网络等）发送到Elasticsearch或Logstash进行集中存储和分析。ELK则是指Elasticsearch、Logstash和Kibana的组合，用于实现日志的收集、存储和可视化分析。 具体来说，Filebeat通过监控指定的日志文件或位置，实时读取日志数据，并将其发送到Elasticsearch或Logstash进行处理。它可以根据配置文件中定义的规则，对日志数据进行解析和转换，以便更好地进行搜索和分析。 ELK中的Elasticsearch是一个分布式搜索和分析引擎，用于存储和索引大量的日志数据。它提供了强大的搜索和聚合功能，可以快速地检索和分析日志数据。 Logstash是一个用于数据收集、转换和传输的开源工具。它可以从各种来源（如Filebeat、Beats、JDBC等）接收数据，并对数据进行过滤、解析和转换，然后将其发送到Elasticsearch进行存储。 Kibana是一个用于可视化和分析日志数据的开源工具。它提供了丰富的图表、仪表盘和搜索功能，可以帮助用户更直观地理解和分析日志数据。 总结起来，Filebeat负责收集日志数据，Logstash负责对数据进行处理和转换，Elasticsearch负责存储和索引数据，Kibana则提供了可视化和分析的界面。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值