Logstash
衣舞晨风
不预测,只应对
展开
-
Logstash 命令行参数
Logstash 提供了一个 shell 脚本叫 logstash 方便快速运行。它支持以下参数:-e意即执行。我们在 “Hello World” 的时候已经用过这个参数了。事实上你可以不写任何具体配置,直接运行 bin/logstash -e ” 达到相同效果。这个参数的默认值是下面这样:input {stdin { }}output {stdout { }}原创 2017-03-28 19:40:35 · 16692 阅读 · 0 评论 -
logstash http input output plugin
1、outputinput { stdin {}}output{ http { http_method => "post" url => "http://10.10.10.10:90" } # stdout 是为了查看输出内容 stdout{原创 2017-04-15 16:32:43 · 4439 阅读 · 1 评论 -
Logstash ruby 插件
本文logstash版本:5.0.1 1、把这个插件文件夹拷贝到下面的目录中logstash\vendor\bundle\jruby\1.9\gems2、修改logstash根目录下的Gemfile 添加如下的内容:gem "logstash-filter-testrubyplugin", :path => "vendor/bundle/jruby/1.9/gems/logstash-filte原创 2017-04-05 19:58:29 · 11464 阅读 · 0 评论 -
logstash kafka output 日志处理
今天在用logstash解析日志并传送给kafka的时候,发现kafka能收到数据但数据内容已经丢失,具体如下: 在logstash output中增加输出样式之后,问题解决kafka再次接受到的内容如下图所示: output{ kafka{ topic_id => "log_test" # kafka的地址 bootstrap_ser原创 2017-04-12 18:38:42 · 8785 阅读 · 0 评论 -
Logstash 时间转换(YYYY-MM-dd HH:mm:ss转Unix时间)
适用场景 - 日志时间转Unix时间 示例日志:2017-03-21 00:00:00,291 INFO [DubboServerHandler-10.135.6.53:20885-thread-98] i.w.w.r.m.RequirementManager [RequirementManager.java:860] fetch no data from oracle2017-03-21原创 2017-03-31 08:16:14 · 8374 阅读 · 0 评论 -
logstash nginx error access 日志处理
input { file { type => "nginx-access" path => [ "/home/jiankunking/software/testdata/nginx/access.log" ] tags => [ "nginx","access"] start_position => beginning } file {原创 2017-04-08 07:34:54 · 5681 阅读 · 0 评论 -
Logstash 常用正则(grok-patterns)
USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))NUMBER (?:%{BASE10NUM})BASE16NUM (?<![0-9A-Fa-f])(?:[+-]?(?:0转载 2017-03-28 20:03:55 · 8135 阅读 · 0 评论 -
Logstash 中type 和 tags
type 和 tags 是 logstash 事件中两个特殊的字段。通常来说我们会在输入区段中通过 type 来标记事件类型 —— 我们肯定是提前能知道这个事件属于什么类型的。而tags 则是在数据处理过程中,由具体的插件来添加或者删除的。最常见的用法是像下面这样:input { stdin { type => "web" }}filter { if [t原创 2017-03-28 19:59:52 · 7966 阅读 · 0 评论 -
logstash-input-file 配置属性详解
Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据。 sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和pos。 配置示原创 2017-03-28 19:56:27 · 10696 阅读 · 0 评论 -
logstash @timestamp 内容替换
conf文件:input { stdin{}}filter { grok{ match => ["message","%{HTTPDATE:[@metadata][timestamp]}"] } date{ match=>["[@metadata][timestamp]","dd/M原创 2017-05-13 16:07:53 · 9401 阅读 · 0 评论