Kafka
香宝的私房小厨
莫等闲 绿了少年头
展开
-
kafka简介,集群部署
1、Kafka是什么在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时...原创 2018-07-09 21:10:11 · 3133 阅读 · 1 评论 -
Java客户端编程 kafka生产与消费者
1, 先写下生产者java代码运行之,然后在虚拟机上启动一个topic,紧接着用在虚拟机上写一个消费者去拿数据。生产者java代码 :package cn.itcast.kafka;import java.util.Properties;import kafka.producer.KeyedMessage;import kafka.producer.Producer;import kaf...原创 2018-07-10 13:45:35 · 2950 阅读 · 0 评论 -
kafka整合strom代码实例讲解
strom整合kafka关键就是以strom中的spout当作kafka的消费者来接收生产者传入的数据。画一个简单的图:好了,接下来我们直接上代码!1,先写一个main方法,作为消费者来接受生产者数据。package cn.itcast.storm.topology;import storm.kafka.BrokerHosts;import storm.kafka.KafkaSpout;i...原创 2018-07-10 15:07:41 · 5784 阅读 · 0 评论 -
kafka 整合 spark streaming 实例
1,启动zk集群(如何搭建不解释,之前文章有详解)在每台机器上执行启动命令:bin/kafka-server-start.sh config/server.properties2,创建kafka的 topic话题(如何搭建kafka不解释,之前文章有详解)bin/kafka-topics.sh --create --zookeeper 192.168.2.201:2181 --r...原创 2018-07-31 17:23:59 · 413 阅读 · 0 评论 -
Kafka结合Spark-streaming 的两种连接方式(AWL与直连)
kafka结合spark-streaming的用法及说明之前博客有些,这里就不赘述了。这篇文章说下他们结合使用的两种连接方式。(AWL与直连)先看一张图:这是kafka与streaming结合的基本方式,如图spark集群中的 worker节点中 exeutor线程里的 receiver接口会一直消费kafka中的数据,那么问题来了,假如我们定义5秒消费一次,如果spark集群定义了每...原创 2018-08-14 09:34:58 · 13391 阅读 · 2 评论