kafka
麦才坚
这个作者很懒,什么都没留下…
展开
-
hdfs详解
******HDFS基本概念篇****** 1. HDFS前言 l 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; l 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 2. HDFS的概念转载 2018-01-21 21:30:25 · 258 阅读 · 0 评论 -
日志流实时监控
日志流实时监控 题目:基于Spark Streaming实现流处理 使用Spark Streaming、Kafka等实现日志流处理功能,可以捕获新应用日志的生成,采用流处理,对日志中存在的ERROR数据进行统计和告警 日志格式可以自己定义,可以参考正常log4j生成的日志格式。 题目分析如下: 功能要求:实现实时error级别日志的统计,并作出相应处理 框架要求:结合sparks原创 2018-02-04 18:07:55 · 3863 阅读 · 1 评论 -
kafka原理详解
Kafka名词解释和工作方式 l Producer :消息生产者,就是向kafka broker发消息的客户端。 l Consumer :消息消费者,向kafka broker取消息的客户端 l Topic :咋们可以理解为一个队列。 l Consumer Group (CG):这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个consu原创 2018-02-07 17:06:25 · 378 阅读 · 0 评论