利用logstash截取日志中的数据并推送至Kafka

最新推荐文章于 2024-06-18 22:06:17 发布

颖波

最新推荐文章于 2024-06-18 22:06:17 发布

阅读量3.7k

点赞数 1

分类专栏： J2EE学习大数据相关文章标签： kafka

本文链接：https://blog.csdn.net/keyingbo2008/article/details/106664956

版权

这篇博客介绍了如何利用logstash从web日志中提取设备操作信息，并将其发送到Kafka。内容包括logstash和kafka的安装，配置logstash的grok过滤器，以及启动和测试过程。

摘要由CSDN通过智能技术生成

这里写自定义目录标题

前言

前言

接到任务是，需要从web日志中取出设备的操作信息，并推送kafka。领导要求使用logstash，要评估技术可行性。我这边就在自己的机器上，逐步安装logstash，kafka并进行相关的调试安装与试运行。
附我们日志的数据案例：

2020-06-09 09:44:32,852 [http-nio-8088-exec-3] 13517 INFO - method=com.vatti.recipe.service.impl.CookingRecipeServiceImpl.addLog |–| info=cookingLog |–| data={“deviceType”:“蒸烤一体机”,“recipeName”:“时蔬烤肉串”,“appUser”:“Sopor2o13”,“cookingTime”:“2020-06-09 09:44:32”,“recipeId”:“70”}

logstash 安装

可以下载tar等进行解压然后配置运行。我这边为了方便（系统是Centos）直接用官网的云安装方式，如果不想访问官网的，我直接简化下操作步骤：

下载与安装公共签名地址：

sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

进入目录*/etc/yum.repos.d/* 创建文件：logstash.repo，内容如下：

[logstash-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md