第三节 ElasticSearch数据导入之Logstash

本文介绍了Logstash如何处理各种数据源,如文件、syslog、redis和Filebeat,利用grok进行正则解析,将非结构化日志转化为结构化数据。此外,还提到mutate用于字段转换,drop用于丢弃不必要事件,clone用于复制事件,geoip添加地理信息,而elasticsearch、mongodb、redis和graphite等插件分别用于数据的存储、缓存和可视化。
摘要由CSDN通过智能技术生成
一、简介
Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理、或一些具有一定格式的数据导入到ES的处理。
工作流程

wKiom1e31O6hsGJUAADcUSxOIdM003.png
Logstash 工作的三个阶段:

input 数据输入端,可以接收来自任何地方的源数据。
  • file:从文件中读取
  • syslog:监听在514端口的系统日志信息,并解析成RFC3164格式。
  • redis:从redis-server list 中获取
  • beat:接收来自Filebeat的事件

Filter 数据中转层,主要进行格式处理,数据类型转换、数据过滤、字段添加,修改等,常用的过滤器如下。
  • grok: 通过正则解析和结构化任何文本。Grok 目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式,满足大部分需求。
  • mutate: 在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。
  • drop: 完全丢弃事件,如debug事件。
  • clone: 复制事件,可能添加或者删除字段。
  • geoip: 添加有关IP地址地理位置信息。

output 是logstash工作的最后一个阶段,负责将数据输出到指定位置,兼容大多数应用,常用的有:
  • elasticsearch: 发送事件数据到 Elasticsearch,便于查询,分析,绘图。
  • file: 将事件数据写入到磁盘文件上。
  • mongodb:将事件数据发送至高性能NoSQL mongodb,便于永久存储,查询,分析,大数据分片。
  • redis:将数据发送至redis-server,常用于中间层暂时缓存。
  • graphite: 发送事件数据到graphite。http://graphite.wikidot.com/
  • statsd: 发送事件数据到 statsd。

二、下载安装
2.window下解压到目标文件夹即可
三、使用
1. 编写logstash启动的配置文件
2.编写对应的mapping template文件
第一种:普通有固定分隔符的文件
例如:2017-05-09 10:31:41,378 [INFO ] com.es.common.SystemLog.execute(SystemLog.java:44) - login|IP: 192.168.3.105|MAC: A1245C15-26C1-4263-8845-01CFCA6EC4FD|USERID: 89293|USERNM: sslvoe| </
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值