![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
念念不忘_
这个作者很懒,什么都没留下…
展开
-
kafka集群搭建
● zk集群事先已准备好 ● 上传kafaka压缩包至Linux解压 [root@hadoop-01 ~]# tar -zxvf kafka_2.11-0.8.2.2.tgz -C /root/ [root@hadoop-01 ~]# cp kafka_2.11-0.8.2.2 ./apps/ ● 修改kafka配置 [root@hadoop-01 ~]# cd ./apps/kafka_2.1...原创 2018-10-07 23:47:45 · 125 阅读 · 0 评论 -
kafka简单使用
● kafka的一些概念 : Broker : 安装Kafka服务的那台集群就是一个broker(broker的id要全局唯一) Producer :消息的生产者,负责将数据写入到broker中(push) Consumer:消息的消费者,负责从kafka中读取数据(pull),老版本的消费者需要依赖zk,新版本的不需要 Topic: 主题,相当于是数据的一个分类,不同topic存放不同...原创 2018-10-08 00:48:50 · 212 阅读 · 0 评论 -
sparkstreaming 监听 kafka 代码
● 代码 ,kafka不会重复消费,自己会记住偏移量 即使设置了从头开始消费,也不会消费已消费的数据 package com.ws.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apach...原创 2018-10-10 09:30:41 · 440 阅读 · 0 评论 -
streaming程序记住kafka历史次数 I
● 此方法不建议使用 package com.ws.streaming import org.apache.spark.{HashPartitioner, SparkConf} import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.kaf...原创 2018-10-10 10:13:27 · 275 阅读 · 0 评论 -
kafka报错ClosedChannelException
● 开启kafka生产者写入数据时报错 报错如下: [root@localhost bin]# ./kafka-console-producer.sh --broker-list 192.168.0.21:9092 --topic ws [2018-10-19 10:47:42,502] WARN Property topic is not valid (kafka.utils.Verifiabl...原创 2018-10-19 15:06:55 · 1181 阅读 · 0 评论 -
kafka生产者
package com.ws.streaming import java.util.Properties import kafka.producer.{KeyedMessage, Producer, ProducerConfig} /** * kafka生产者 */ object ProducerDemo { def main(args: Array[String]): Unit...原创 2018-11-04 21:13:51 · 126 阅读 · 0 评论 -
flume输出到kafka配置
[root@server-21 apache-flume-1.6.0-bin]# cat kafka_test.properties # 01-flume-netcat-test # agent name: a1 # source: netcat # channel: memory # sink: logger, local console # 01 define source,channe...原创 2019-03-02 15:56:48 · 902 阅读 · 0 评论