- 博客(2)
- 收藏
- 关注
原创 Kafka
概述基于zookeeper协调的分布式消息系统,它的最大特性是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。核心概念Producer:消息的生产者,负责往Kafka集群中发送消息;Consumer:消息的消费者,主动从Kafka集群中拉取消息。Consumer Grou
2022-02-14 00:21:58
192
原创 Flume
目录概述基础架构Flume事务Flume Agent 内部原理Flume 拓扑结构开发案例自定义 Intercepter自定义Source自定义SinkFlume数据流监控Flume参数调优Flume的事务机制Flume采集数据会丢失吗?概述高可用、高可靠、分布式的海量日志采集、聚合和传输的系统,基于流式架构,灵活简单;主要作用是实时读取服务器本地磁盘的数据,将数据写入HDFS。基础架构Agent: 是一个JVM进...
2022-02-09 22:16:39
292
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人