Logstash
文章平均质量分 58
Wang_Zhenwei
这个作者很懒,什么都没留下…
展开
-
Logstash学习3_通过Kafka传输数据给logstash-1.4和logstash-1.5
通过kafka传输Kafka 是一个高吞吐量的分布式发布订阅日志服务,具有高可用、高性能、分布式、高扩展、持久性等特性。目前已经在各大公司中广泛使用。和之前采用 Redis 做轻量级消息队列不同,Kafka 利用磁盘作队列,所以也就无所谓消息缓冲时的磁盘问题。此外,如果公司内部已有 Kafka 服务在运行,logstash 也可以快速接入,免去重复建设的麻烦。如果打算新建 Kafka 系统转载 2015-10-26 16:56:50 · 3052 阅读 · 0 评论 -
Logstash学习13_Logstash处理连续空格
在使用Logstash读取文件时,文件中的数据类型如下:zhangsan password zhangsan@qq.com三个字段中间的空格比较多,不知道在filter时,怎样拆分,查找正则表达式的相关资料:\s* 表示若干个空格(可以是0个);\s+ 表示一个或多个空格;用下面的语句拆分,结果失败: mutate原创 2017-04-14 18:16:09 · 4856 阅读 · 0 评论 -
Logstash学习14_Logstash中文乱码问题
使用Logstash读取日志的时候,常常会遇到中文乱码问题。不同文件字符集的对应logstash配置文件中的字符集。此处以linux系统下环境为例。工具/原料Vi编辑器Linux基本命令方法/步骤 如果要用logstash去读取某日志,首先查看该文件的字符编码。转载 2017-04-19 20:37:05 · 9892 阅读 · 0 评论 -
Logstash学习15_Logstash startup completed后无内容
一段时候不适用Logstash后,使用下面的conf文件原创 2017-09-14 15:29:11 · 489 阅读 · 0 评论 -
Logstash学习16_Logstash 插件安装
官方的安装指令是:1bin/plugin install logstash-output-webhdfs但是往往安装不成功,一般就是如下情况,然后卡着不动了:Validating logstash-output-webhdfs 。。。原因是防火墙挡掉了logstash转载 2017-10-17 23:02:39 · 770 阅读 · 0 评论 -
Logstash学习17_Logstash Sqlite input plugin 插件在线安装
InstallationeditFor plugins not bundled by default, it is easy to install by running bin/logstash-plugin install logstash-input-sqlite. See Working with plugins for more details.官网的介原创 2017-10-17 23:08:01 · 447 阅读 · 0 评论 -
Logstash学习18_Logstash Sqlite input plugin 插件离线安装
1、在Github上下载安装包,地址是:https://github.com/logstash-plugins/logstash-input-sqlite下载的文件名为:logstash-input-sqlite-master.zip2、解压,保存一下解压后的目录,本人的路径是:C:\Users\WANG\Downloads\SQLite\logstash-input-原创 2017-10-18 00:10:44 · 586 阅读 · 0 评论 -
Logstash学习19_CentOS下Logstash Sqlite input plugin 插件的使用
在安装完成Logstash、Sqlite3和Sqlite input plugin 插件后,可以进一步操作。1、建立一个SQlite数据库文件新建一个example.db文件;编辑此文件,/home/bigdata/data/example.db是文件的全路径:sqlite3 /home/example.db;新建一张表:CREATE TABLE weblogs (id I原创 2017-10-26 20:54:48 · 705 阅读 · 0 评论 -
Logstash学习20_[logstash-input-file]插件使用详解
最小化的配置文件 在Logstash中可以在 input{} 里面添加file配置,默认的最小化配置如下:input { file { path => "E:/software/logstash-1.5.4/logstash-1.5.4/data/*" }}filter { }output { stdout {}}转载 2017-11-19 22:39:00 · 969 阅读 · 0 评论 -
ELK学习13_logstash启动报错[logstash.outputs.elasticsearch] Unknown setting 'host' for elasticsearch
启动elasticsearch后:[admin@ELK config]$ netstat -tnlp|grep java(Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.)tcp6 0转载 2017-11-19 22:41:23 · 5553 阅读 · 0 评论 -
Logstash学习21_Logstash 解析 XML
读取日志只是一行日志在filter中filter { else if [path] =~ /xml/ {xml {source => "message"target =>"doc"xpath => ["/ROOT/@number","number","/ROOT/EVENTLIST/EVENT/@name","EVENT"]}转载 2017-12-03 22:53:40 · 1802 阅读 · 1 评论 -
Logstash学习12_Got error to send bulk of actions AND Failed to flush outgoing items
Logstash错误:在启动Logstash时,如果配置文件中,输出是ES的话,出现了一些问题,下面寻找原因:在帖子中:https://discuss.elastic.co/t/logstash-error-messages-got-error-to-send-bulk-of-actions-and-failed-to-flush-outgoing-items/24215问题描原创 2017-04-12 14:42:56 · 1661 阅读 · 0 评论 -
Logstash学习10_Logstash从Kafka或文件接收数据的配置demo介绍
下面介绍两个Logstash的配置Demo:Demo1:input {kafka { zk_connect => "10.10.16.2:2181,10.10.16.3:2181,10.10.16.4:2181" group_id => "test-consumer-group" topic_id => "MyPattern" reset_beginning => fal原创 2017-02-13 14:51:18 · 4049 阅读 · 0 评论 -
Logstash学习2_logstash简单介绍和快速入门
原文地址:http://logstash.net/docs/1.4.2/tutorials/getting-started-with-logstash英语水平有限,如果有错误请各位指正简介Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧?在一个典型转载 2015-10-24 12:13:09 · 2580 阅读 · 0 评论 -
Logstash学习1_logstash的kafka插件使用
logstash的kafka插件使用原文 http://bigbo.github.io/pages/2015/01/23/logstash_kafka/前言关于logstash可以产看其 官网 ,对于英文有障碍的人士,或是想知道更多插件使用技巧的用户请移步 @三斗室 所著作 logstash最佳实战 ,本片内容已经并入其中相关章节.Logstash-k转载 2015-10-24 10:38:27 · 3005 阅读 · 0 评论 -
logstash-input-kafka
logstash-input-kafka的所有版本见:https://rubygems.org/gems/logstash-input-kafka/versions2.0.2 - October 14, 2015 (11.5 KB)2.0.1 - October 8, 2015 (11.5 KB)2.0.0 - September 23, 2015 (1翻译 2015-10-26 20:24:47 · 4118 阅读 · 0 评论 -
Logstash学习5_[logstash/patterns/grok-patterns]Logstash grok 内置正则
USERNAME [a-zA-Z0-9._-]+USER %{USERNAME}INT (?:[+-]?(?:[0-9]+))BASE10NUM (?[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))NUMBER (?:%{BASE10NUM})BASE16NUM (?BASE16FLOAT \b(?POSINT \b(转载 2015-11-10 17:08:18 · 3479 阅读 · 0 评论 -
Logstash学习4_Logstash如何将操作日志中的字符串类型的时间转化成@timestamp
问题描述将类似于:2015/8/26 12:05:00:000000的数据转化成:2015-08-26T04:05:00.000Z背景目标:将操做日志中的字符串类型的时间格式转化成@timestamp方法:首先由于日志的格式有很多种,Logstash自带的正则表达式可能不满足我们的需求,但是我们可以通过grok插件引入自己定义的正则表达式。具体步骤:转载 2015-11-10 15:51:45 · 15191 阅读 · 2 评论 -
Logstash学习6_LogStash日志分析展示系统
简介通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候,也就是出现问题的时候,这个渐进的过程就开始了。日志管理一般会经历一下3个阶段:初级管理员将通过一些传统工具(如cat、tail、sed、awk、perl以及grep)对日志进行检查,但它的适用范围仅限于少量的主机和日志文件类型;考虑到现实中的可扩展性问题,日志管理也会逐步进化,使用如rsyslog和syslog-ng这转载 2015-11-17 23:12:43 · 914 阅读 · 0 评论 -
Logstash学习7_Logstash_Date时间处理_Joda-Time库
filters/date 插件可以用来转换你的日志记录中的时间字符串,变成 LogStash::Timestamp 对象,然后转存到 @timestamp 字段里。filters/date 插件支持的时间格式包括Joda-Time库:SymbolMeaningPresentationExamplesGeratextAD原创 2016-01-14 14:39:53 · 5123 阅读 · 2 评论 -
Logstash学习11_Logstash处理时区、类型转换、删除字段的案例配置
#输入input { file { path => ["文件路径"]#自定义类型 type => "自定义" start_position => "beginning" }}#过滤器filter{#去除换行符mutate{gsub => [ "message", "\r", "" ]原创 2017-02-17 15:18:30 · 20138 阅读 · 1 评论 -
Logstash学习8_分布式日志收集之Logstash 笔记(二)
进入正题吧,上篇介绍了Logstash的基础知识和入门demo,本篇介绍几个比较常用的命令和案例 通过上篇介绍,我们大体知道了整个logstash处理日志的流程: input => filter => output 除了上面几个基础命令,还有ruby,mutate,gork,codes几个命令比较常用: 在线gork正则的地址:http://grokdebug.herok转载 2017-02-10 16:51:43 · 1004 阅读 · 0 评论 -
Logstash学习9_Logstash去除一些字段里面的换行符(\r)
使用mutate+gsub来去除一些字段里面的换行符 Java代码 mutate { gsub => [ "message", "\r", "" ] } 原文来自:http://blog.csdn.net/u010454030/article/details/49680531转载 2017-02-13 13:43:08 · 8741 阅读 · 1 评论 -
Logstash学习22_Logstash的multiline 插件:匹配多行日志
本文内容测试数据字段属性按多行解析运行时日志把多行日志解析到字段参考资料在处理日志时,除了访问日志外,还要处理运行时日志,该日志大都用程序写的,比如 log4j。运行时日志跟访问日志最大的不同是,运行时日志是多行,也就是说,连续的多行才能表达一个意思。本文主要说明,如何用 multiline 出来运行日志。代码如下(必须在filter中,否则结果还是不能合并行):f转载 2017-12-03 23:00:05 · 2113 阅读 · 0 评论