Kafka
XQ_WYL
这个作者很懒,什么都没留下…
展开
-
大数据入门之分布式消息队列Kafka(1) -- Kafka介绍以及环境搭建
1.Kafka概述 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。 2.Ka...原创 2018-08-23 00:18:09 · 718 阅读 · 0 评论 -
大数据入门之分布式消息队列Kafka(2) -- Kafka Java API编程使用与Flume整合
1.前置要求 JDK1.8 Maven3.5.2 2.Java API编程实现 打开IDEA,选择构建一个maven项目,首先我们修改pom.xml文件。 <properties> <scala.version>2.11.8</scala.version> <kafka.version>0.8.2....原创 2018-08-23 10:30:18 · 312 阅读 · 0 评论