Logstash
NIO4444
这个作者很懒,什么都没留下…
展开
-
Logstash系列:Grok匹配多行
Grok匹配多行,在头部加上:(?m)^%{WORD}原创 2020-06-03 21:23:11 · 3436 阅读 · 0 评论 -
Logstash系列:grok 匹配多个空格
%{SPACE}*匹配不确定数量的空Logstash系列:grok 表达式开发调试工具、使用方法原创 2020-06-03 16:42:29 · 2972 阅读 · 0 评论 -
Logstash系列:grok 表达式开发调试工具、使用方法
USERNAME [a-zA-Z0-9._-]+ USER %{USERNAME} EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+ EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME} INT (?:[+-]?(?:[0-9]+)) BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\....原创 2020-05-21 11:16:45 · 2353 阅读 · 0 评论 -
Logstash系列:参数调优
调优参数# pipeline线程数,官方建议是等于CPU内核数pipeline.workers: 8# 实际output时的线程数pipeline.output.workers: 8# 每次发送的事件数(当batch.size增大,es处理的事件数就会变少,写入也就越快了)pipeline.batch.size: 10000# 发送延时(根据实际的数据量逐渐增大来测试最优值)pipeline.batch.delay: 5扩展...原创 2020-05-20 23:23:00 · 794 阅读 · 0 评论 -
Logstash系列: clone拦截器的使用
clones:克隆一个数组add_field :新增字段 filter { clone { clones => [event] add_field => { "foo_%{somefield}" => "Hello world, from %{host}" } } }原创 2020-05-18 22:40:38 · 994 阅读 · 0 评论 -
Logstash系列:kv拦截器的使用
原始数据ip=1.2.3.4 error=REFUSEDkvfilter { kv { } }结果ip: 1.2.3.4 error: REFUSED原创 2020-05-18 22:33:51 · 983 阅读 · 0 评论 -
Logstash系列: ruby拦截器的使用
Logstash系列: ruby拦截器的使用原创 2020-05-18 16:38:07 · 1421 阅读 · 0 评论 -
Logstash系列: grok拦截器的使用
Logstash系列: grok拦截器的使用原创 2020-05-18 16:37:23 · 551 阅读 · 0 评论 -
Logstash系列: mutate拦截器的使用
Logstash系列: mutate filter plugin日期拦截器的使用原创 2020-05-18 15:08:39 · 827 阅读 · 0 评论 -
Logstash系列: Date filter plugin日期拦截器的使用
指定某个字段作为event的时间戳。id:filter id,便于区分相同datetag_on_failure:匹配失败输出提示 # 匹配#匹配Aug 13 2010 00:03:44date { match => [ "logdate", "MMM dd yyyy HH:mm:ss", "MMM d yyyy HH:mm:ss"] tag_on_failure => ["tag_on_failure_ ma...原创 2020-05-18 15:06:14 · 452 阅读 · 0 评论 -
Logstash系列:常用性能分析监控API之hot threads CPU占用率
hot threads#CPU占用率http://192.168.40.148:9600/_node/hot_threads?pretty扩展Logstash系列:常用性能分析监控API之plugins插件信息Logstash系列:常用性能分析监控API之Node信息Logstash系列:常用性能分析监控API之Node信息...原创 2020-05-18 00:13:14 · 767 阅读 · 0 评论 -
Logstash系列:常用性能分析监控API之node stats信息
目录node stats APIpipeline stats(重要)Eventstats(重要)reloadstatsJVM statsprocess statsOS statsnode stats APIlocalhost:9600/_node/stats/<types>pipeline stats(重要)http://192.168.40.148:9600/_node/stats/pipelines?pretty...原创 2020-05-18 00:06:52 · 919 阅读 · 0 评论 -
Logstash系列:常用性能分析监控API之plugins插件信息
plugins info APIlocalhost:9600/_node/plugins?pretty{ "total": 93, "plugins": [ { "name": "logstash-codec-cef", "version": "4.1.2" }, { "name": "logstash-codec-collectd", "version": "3.0.3" }, {原创 2020-05-17 23:56:27 · 477 阅读 · 0 评论 -
Logstash系列:常用性能分析监控API之Node信息
目录node info APIOS infopipeline infoJVM info概要http://192.168.40.148:9600/_node/<types>node info APIhttp://192.168.40.148:9600/OS infohttp://192.168.40.148:9600/_node/os?prettypipeline infohttp://192.168.40.148...原创 2020-05-17 23:54:47 · 595 阅读 · 0 评论 -
Logstash系列:Logstash工作原理
inputs → filters → outputs.inputsfile syslog redis beat有各种各样的beat可用于采集数据:https://www.elastic.co/guide/en/logstash/7.2/input-plugins.htmlfiltersgrok: 数据格式处理 mutate: 修改event字段属性 drop: 删除events内容 clone: 克隆event geoip: 基于IP的展示 L...原创 2020-05-17 23:38:36 · 456 阅读 · 0 评论 -
Logstash系列: 常用mutate、drop、aggregate 、Demo
date#一次匹配多个日期格式 filter { date { match => [ "logdate", "MMM dd yyyy HH:mm:ss", "MMM d yyyy HH:mm:ss", "ISO8601" ] } }drophttps://www.elastic.co/guide/en/logstash/7.2/plugins-filters-drop.html ...原创 2020-05-17 23:36:00 · 1179 阅读 · 0 评论 -
Logstash系列:发送邮件告警、发送POST告警
output { http { url => "http://alert:port/api/" http_method => "post" }}原创 2020-05-17 19:17:18 · 780 阅读 · 0 评论 -
Logstash系列:conf配置文件Demo
2+1pipeline有两个必选元素:inputandoutput,一个可选:Filter:confinput { kafka { bootstrap_servers => "192.168.40.148:9092" group_id => "logstash-es" topics => ["es"] decorate_events => false c...原创 2020-05-17 19:29:52 · 475 阅读 · 0 评论 -
Logstash系列:pipelines.xml配置详解
pipelines.xml用于声明多个管道。文件位置文件Demo- pipeline.id: id-logstash-varlog pipeline.workers: 2 pipeline.batch.size: 8000 pipeline.batch.delay: 10 path.config: "/etc/logstash/conf.d/varlog.conf"id 管道名词workers 处理线程数(Filter、Output使用)batch...原创 2020-05-17 19:40:06 · 2795 阅读 · 0 评论 -
Logstash系列:解决Could not fetch all the sources ConfigurationError
问题Could not fetch all the sources {:exception=>LogStash::ConfigurationError, :message=>"Pipelines YAML file contains duplicate pipeline ids: [\"id-logstash-varlog\"]. Location: /etc/logstash/pipelines.yml",解决id名字重复原创 2020-05-17 18:33:00 · 2754 阅读 · 1 评论 -
LogStash系列:Failed to execute action LogStash::ConfigurationError
问题Failed to execute action LogStash::ConfigurationError解决方法pipelines.yml内配置的conf含有中文:判断依据==》Linux系列:查看linux文件是否含中文字符原创 2020-05-15 17:55:36 · 3092 阅读 · 0 评论 -
Logstash系列:安装配置步骤
下载CSDN:https://download.csdn.net/download/VIP099/12373930官方:https://www.elastic.co/cn/downloads/past-releases#logstash安装rpm -ivh logstash-7.2.1.rpm配置看下安装目录cat /etc/systemd...原创 2020-05-09 13:25:20 · 330 阅读 · 0 评论 -
Logstash系列:过滤器filter之 mutate写法
filter { mutate { # Renames the 'HOSTORIP' field to 'client_ip' rename => { "HOSTORIP" => "client_ip" } } }原创 2020-01-11 20:48:23 · 1202 阅读 · 0 评论 -
Logstash系列:过滤器filter之Grok写法
原始数据55.3.244.1 GET /index.html 15824 0.043表达式%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}conf input { file { path => "/var/log/http.lo...原创 2020-01-11 20:47:03 · 768 阅读 · 0 评论 -
Logstash系列:过滤器filter之drop写法
filter { if [loglevel] == "debug" { drop { percentage => 40 } }}原创 2020-01-11 20:44:36 · 2364 阅读 · 0 评论 -
Logstash系列:过滤器filter之Date写法
filter { date { match => [ "logdate", "MMM dd yyyy HH:mm:ss" ] } }原创 2020-01-11 20:41:50 · 767 阅读 · 0 评论 -
logstash过滤器filter之Ruby写法
filter { ruby { # Cancel 90% of events path => "/etc/logstash/drop_percentage.rb" script_params => { "percentage" => 0.9 } } }# the value of `params`...原创 2020-01-11 20:28:47 · 2616 阅读 · 0 评论 -
Logstash系列:支持的路径输入格式
/var/log/**/*.log/path/to/logs/{app1,app2,app3}/data.log原创 2020-01-11 20:17:41 · 417 阅读 · 0 评论 -
Logstash系列: 多行匹配
Exception in thread "main" java.lang.NullPointerException at com.example.myproject.Book.getTitle(Book.java:16) at com.example.myproject.Author.getBookTitles(Author.java:25) at ...原创 2020-01-11 20:23:53 · 513 阅读 · 0 评论