![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
AndyLizh
这个作者很懒,什么都没留下…
展开
-
SpringBoot -- Kafka(二) Demo
前置工作Kafka 、zookeeper环境已经完成JDK完成安装(kafka环境依赖jvm)了解kafka、zookeeper各种的作用Demo依然使用现有的feignserver有说Springboot 1.5+ 已经支持spring-integration 无缝对接本文依然使用的 1.4+,所以还是采用config方式引入kafka依赖转载 2017-04-19 15:17:49 · 1771 阅读 · 1 评论 -
springboot 1.5.2 集成kafka 简单例子
Springboot1.5.2以后和Kafka进行无缝集成添加依赖compile("org.springframework.kafka:spring-kafka:1.1.2.RELEASE")添加application.properties#kafka# 指定kafka 代理地址,可以多个spring.kafka.bootstrap-serv转载 2017-04-19 15:36:06 · 3250 阅读 · 0 评论 -
随着spring boot 1.5版本的发布,在spring项目中与kafka集成更为简便。
随着spring boot 1.5版本的发布,在spring项目中与kafka集成更为简便。引入依赖dependency> groupId>org.springframework.kafkagroupId> artifactId>spring-kafkaartifactId>dependency>具体spring-kafka的版本由spring boot的当前转载 2017-04-19 16:13:42 · 9196 阅读 · 5 评论 -
java+logstash
写在前面在前面一篇文章中,我们介绍了如何在linux上搭建logstash+kafka的环境(logstash+kafka),在这篇中将介绍如何连通java日志文件和logstash。日志分类一般在java开发过程中最常用到的两种日志工具:log4j : Apache的开源项目logback : 可以说是log4j的改良版,和上者同一个作者下面我们分别介绍这转载 2017-04-20 10:16:56 · 6018 阅读 · 0 评论 -
logstash通过kafka传输nginx日志(三)
单个进程 logstash 可以实现对数据的读取、解析和输出处理。但是在生产环境中,从每台应用服务器运行 logstash 进程并将数据直接发送到 Elasticsearch 里,显然不是第一选择:第一,过多的客户端连接对 Elasticsearch 是一种额外的压力;第二,网络抖动会影响到 logstash 进程,进而影响生产应用;第三,运维人员未必愿意在生产服务器上部署 Java,或者让 lo转载 2017-04-21 13:57:23 · 2345 阅读 · 0 评论 -
Logstash使用grok过滤nginx日志(二)
在生产环境中,nginx日志格式往往使用的是自定义的格式,我们需要把logstash中的message结构化后再存储,方便kibana的搜索和统计,因此需要对message进行解析。 本文采用grok过滤器,使用match正则表达式解析,根据自己的log_format定制。1、nginx日志格式 log_format配置如下:log_format main转载 2017-04-21 13:58:13 · 3614 阅读 · 0 评论 -
快速认识 ELK 中的 L:Logstash
简介Logstash 是一个开源的数据采集引擎。Logstash 就像是一个管子,左面接数据源接收数据,右面接存储目的地,管子中间有过滤器,对接收到的数据进行过滤,只存储符合要求的数据。例如左面可以对接 日志文件 、 Reids 、 Kafka …… 右面可以对接 Elasticsearch 、 Kafka 、 MongoDB ……转载 2017-04-21 19:02:39 · 758 阅读 · 0 评论