第三节 ElasticSearch数据导入之Logstash

最新推荐文章于 2024-04-15 17:41:10 发布

至臻于勤-大道至简

最新推荐文章于 2024-04-15 17:41:10 发布

阅读量2.1k

点赞数

分类专栏： ElasticSearch 文章标签： ElasticSearch 格式化数据 logstash

本文链接：https://blog.csdn.net/xpsallwell/article/details/77198215

版权

本文介绍了Logstash如何处理各种数据源，如文件、syslog、redis和Filebeat，利用grok进行正则解析，将非结构化日志转化为结构化数据。此外，还提到mutate用于字段转换，drop用于丢弃不必要事件，clone用于复制事件，geoip添加地理信息，而elasticsearch、mongodb、redis和graphite等插件分别用于数据的存储、缓存和可视化。

摘要由CSDN通过智能技术生成

 
 一、简介 

 
 Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理、或一些具有一定格式的数据导入到ES的处理。 

 
 工作流程 

 
 Logstash 工作的三个阶段： 

 
 input 数据输入端，可以接收来自任何地方的源数据。 

file：从文件中读取
syslog：监听在514端口的系统日志信息，并解析成RFC3164格式。
redis：从redis-server list 中获取
beat：接收来自Filebeat的事件

 
 Filter 数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段添加，修改等，常用的过滤器如下。 

grok: 通过正则解析和结构化任何文本。Grok 目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，满足大部分需求。
mutate: 在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。
drop: 完全丢弃事件，如debug事件。
clone: 复制事件，可能添加或者删除字段。
geoip: 添加有关IP地址地理位置信息。

 
 output 是logstash工作的最后一个阶段，负责将数据输出到指定位置，兼容大多数应用，常用的有: 

elasticsearch: 发送事件数据到 Elasticsearch，便于查询，分析，绘图。
file: 将事件数据写入到磁盘文件上。
mongodb:将事件数据发送至高性能NoSQL mongodb，便于永久存储，查询，分析，大数据分片。
redis:将数据发送至redis-server，常用于中间层暂时缓存。
graphite: 发送事件数据到graphite。http://graphite.wikidot.com/
statsd: 发送事件数据到 statsd。

 
 二、下载安装 

  1.下载地址： 
 https://www.elastic.co/products/logstash 

  2.window下解压到目标文件夹即可 

  三、使用 

  1. 编写logstash启动的配置文件 

  2.编写对应的mapping template文件 

  第一种：普通有固定分隔符的文件 

  例如：2017-05-09 10:31:41,378 [INFO ] com.es.common.SystemLog.execute(SystemLog.java:44) - login|IP: 192.168.3.105|MAC: A1245C15-26C1-4263-8845-01CFCA6EC4FD|USERID: 89293|USERNM: sslvoe| </