- 博客(2)
- 收藏
- 关注
RSS订阅原创 Kafka
概述基于zookeeper协调的分布式消息系统，它的最大特性是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。核心概念Producer：消息的生产者，负责往Kafka集群中发送消息；Consumer：消息的消费者，主动从Kafka集群中拉取消息。Consumer Grou
2022-02-14 00:21:58
178
原创 Flume
目录概述基础架构Flume事务Flume Agent 内部原理Flume 拓扑结构开发案例自定义 Intercepter自定义Source自定义SinkFlume数据流监控Flume参数调优Flume的事务机制Flume采集数据会丢失吗?概述高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，基于流式架构，灵活简单；主要作用是实时读取服务器本地磁盘的数据，将数据写入HDFS。基础架构Agent： 是一个JVM进...
2022-02-09 22:16:39
274
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人