kafka
luoyunfan6
LuoYunfan
展开
-
spark消费kafka数据,并把偏移量保存在redis
实现功能:从kafka读取某一主题,消费者组的偏移量基于读出的offset,创建kafka读取流程把各个分区的偏移量 保存到redis。import Kafka010.Utils.{MyKafkaUtils, RedisUtilsDemo}import org.apache.kafka.clients.consumer.ConsumerRecordimport org.ap...原创 2019-12-26 20:13:28 · 1145 阅读 · 0 评论 -
SparkStreaming对接kafka的两种方式
第一种:receiver方式。1、receiver不停地从kafka拉取数据,n秒钟(程序设置的)拉取产生一批数据2、这种方式偏移量zookeeper帮我们管理,灵活性差这种方式有缺点: receiver从Kafka中获取的数据都存储在Spark Executor的内存中,某个时间段内拉去的数据可能会大于某台机器executor分配的内存数量,部分数据会溢出丢失。 针对这一问题...原创 2019-11-17 13:33:11 · 764 阅读 · 0 评论 -
SparkStreaming对接kafka代码测试
receiver方式的代码测试package spark.SparkStreaming.testimport kafka.serializer.StringDecoderimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.storage.StorageLevelim...原创 2019-11-15 21:01:56 · 332 阅读 · 0 评论 -
kafka重装时,需要在zookeeper删除的节点信息
topicsconfig —配置信息consumerproducerbrokers —集群几点信息,topic信息admin —删除的topiccontroller —控制节点的broker.i...原创 2019-11-15 19:08:27 · 1387 阅读 · 0 评论 -
kafka对接flume
首先配置flume文件的信息(flume2kafka.properties)# flume-kafka.properties: 用来定制agent的各个组件的行为(source,channel,sink)############################################# 对各个组件的描述说明# 其中a1为agent的名字# r1是a1的source的代号名字# ...原创 2019-11-13 20:16:31 · 244 阅读 · 0 评论 -
kafka的拦截器
拦截器中方法介绍:Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(i...原创 2019-11-13 20:04:40 · 243 阅读 · 0 评论 -
kafka的自定义分区
首先定义一个自定义分区类package Partition;import org.apache.kafka.clients.producer.Partitioner;import org.apache.kafka.common.Cluster;import org.apache.kafka.common.PartitionInfo;import java.util.List;impor...原创 2019-11-13 19:45:14 · 328 阅读 · 0 评论 -
kafka的api操作(发布和订阅)
消息发布apipom.xml<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</ve...原创 2019-11-13 19:32:01 · 734 阅读 · 0 评论 -
kafka命令行操作
主题相关操作关键参数:--alter 修改主题--create 创建主题 --delete 删除主题--describe 显示出给定主题的详情.--list 罗列出kafka分布式集群中所有有效的主题名--partitions 创建或是修改主题时通过该参数指定分区数。--replication-factor 创建修改主题时通过该参数指定分区的副本数。...原创 2019-11-13 14:12:25 · 779 阅读 · 0 评论 -
kafka分布式集群的搭建
(1)下载安装包http://archive.apache.org/dist/kafka/注意下载版本和scala要匹配(2)解压安装包tar -zxvf kafka_2.11-0.11.0.0.tgz -C /home/hadoop/apps/ (3)修改配置文件cd configvi server.properties#broker的全局唯一编号,不能重复broker....原创 2019-11-13 10:21:16 · 114 阅读 · 0 评论