kafka
dabokele
这个作者很懒,什么都没留下…
展开
-
安装配置Kafka
1,下载kafka安装包,解压缩,tar -zxvf kafka_2.10-0.8.2.1.tgz2,修改/etc/profile文件,增加KAFKA_HOME变量3,进入KAFKA_HOME/config目录(1)修改server.properties文件broker.id=0host.name=master(在slave1中,master-->slave原创 2015-09-24 10:06:16 · 811 阅读 · 0 评论 -
IDEA中运行DirectKafkaWordCount程序
1,将SPARK_HOME中的DirectKafkaWordCount程序复制到idea中.2,由于在KafkaWordCount中已引入相关jar包,此步可略过3,配置configurations参数 关于program arguments参数,程序中定义如下:/** * Consumes messages from one or more topics原创 2015-09-24 10:30:31 · 2009 阅读 · 0 评论 -
Kafka系列之-Kafka入门
Apache Kafka基本架构和原理。原创 2016-08-15 21:27:23 · 1346 阅读 · 0 评论 -
Kafka系列之-自定义Producer
Kafka自定义Producer以及Partitioner,并对Producer进行一定的封装。原创 2016-08-15 23:37:49 · 23529 阅读 · 1 评论 -
Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
调用封装好的Producer,结合Kafka监控工具KafkaOffsetMonitor的使用与分析。原创 2016-08-30 22:51:47 · 42184 阅读 · 13 评论 -
Spark Streaming + Kafka整合(Kafka broker版本0.8.2.1+)
这篇博客是基于Spark Streaming整合Kafka-0.8.2.1官方文档。 本文主要讲解了Spark Streaming如何从Kafka接收数据。Spark Streaming从Kafka接收数据主要有两种办法,一种是基于Kafka high-level API实现的基于Receivers的接收方式,另一种是从Spark 1.3版本之后新增的无Receivers的方式。这两种方式的代码编翻译 2016-10-14 00:08:55 · 6227 阅读 · 2 评论 -
Kafka系列之-Kafka Protocol实例分析
本文基于A Guide To The Kafka Protocol文档,以及Spark Streaming中实现的org.apache.spark.streaming.kafka.KafkaCluster类。整理出Kafka中有关Metadata APIProduce APIFetch APIOffset API(Aka ListOffset)Offset Commit/Fetch API原创 2017-01-16 17:32:52 · 4675 阅读 · 1 评论 -
IDEA中运行KafkaWordCount程序
1,从spark的example中找到KafkaWordCount.scala文件复制到idea编辑器中,引入包:2,编辑configuration, (1)KafkaWordCountProducer 选择KafkaWordCount.scala中的KafkaWordCountProducer方法 VM options 设置为:-Ds原创 2015-09-24 10:31:49 · 2936 阅读 · 2 评论