从kafka中自定义处开始获取数据

最新推荐文章于 2024-05-06 20:09:32 发布
最新推荐文章于 2024-05-06 20:09:32 发布
阅读量1k 收藏 4
点赞数
分类专栏： Kafka 文章标签： 获取数据 offset kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bocai8058/article/details/82954556
版权 
@Author  : Spinach | GHB
@Link    : http://blog.csdn.net/bocai8058

文章目录


三种情况的消费者不同使用方式下，消费者提交offset的情况进行了归总和说明：
在这里插入图片描述

从开头处获取数据

配置设置

设置auto.offset.reset为earliest或latest

默认是latest（消费者从最新的记录开始读取数据）；
     earliest（消费者从起始位置读取partition的记录）

Kafka-SparkStreaming设置

val conf = new SparkConf().setMaster("local[4]").setAppName("TagGen");
val sc = new StreamingContext(conf, Seconds(15)); //5 minter
val kafkaParams = Map[String, Object](
            "bootstrap.servers" -> "10.1.3.5:6667",
            "key.deserializer" -> classOf[StringDeserializer],
            "value.deserializer" -> classOf[StringDeserializer],
            "group.id" -> "test-consumer-group",
            "auto.offset.reset" -> "earliest", //从分区末尾获取数据，还可设置为earliest(从分区头获取数据)
            "enable.auto.commit" -> (false: java.lang.Boolean))

val topics = Array("TagGen")

// 解决数据积压问题
val stream = KafkaUtils.createDirectStream[String, String](
            sc,
            PreferConsistent,
            Subscribe[String, String](topics, kafkaParams)
            )
val sources = stream.map(e => e.value().toString) //e.value() 是kafka消息内容，e.key为空值

代码实现

/**
 * @author yujie.wang
 * kafka消费者示例，包含随机位置消费和最多一次消费方式
 * 消费者提交消费数据offset 分为自动提交和手动控制提交
 * 
 * 这份代码示例中包含了 多种从kafka的任意位置获取数据的方式
 */
public class Consumer_Sample {
 
	//kafka集群机器
	private static final String KAFKA_HOSTS = "10.4.30.151:9092,10.4.30.151:9093,10.4.30.151:9094";
	//topic名称
	private static final String TOPIC = "my-replicated-topic_2";
	
	public static void main(String[] args) {
		// TODO Auto-generated method stub
		Consumer_Sample consumer = new Consumer_Sample();
		//从指定的分区  开始位置seekToBeginning 或者任意位置seek消费数据
		consumer.consumerAssin("true", TOPIC);
		
		
		
		System.out.println("consumer end");
	}
	
	
	/**
	 * 通过assign分配的分区,消费者发生故障 Server端不会触发分区重平衡(即使该消费者共享某个已有的groupId)，每个消费者都是独立工作的
	 * 为了避免offset提交冲突，需要确保每个消费者都有唯一的groupId
	 * 从指定的分区的开头开始消费数据
	 * @param isAutoCommitBool true 开启自动提交offset;false 不开启
	 * @param topic
	 */
	public void consumerAssin(String isAutoCommitBool,String topic){
		 Properties props = new Properties();
		 //配置kafka集群机器
		 props.put("bootstrap.servers", KAFKA_HOSTS);
		 //消费者分组
		 props.put("group.id", "yujie35");
		 //这里设置 消费者自动提交已消费消息的offset
		 props.put("enable.auto.commit", isAutoCommitBool);
		 // 设置自动提交的时间间隔为1000毫秒
		 props.put("auto.commit.interval.ms", "1000");
		 // 设置每次poll的最大数据个数
		 props.put("max.poll.records", 5);
		 props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
		 //获得topic的所有分区
		 List<PartitionInfo> parList = consumer.partitionsFor(topic);
		 //打印出分区信息
		 printPartition(parList);
		 
		 List<TopicPartition> list = new ArrayList<TopicPartition>();
		 for(PartitionInfo par : parList){
			 TopicPartition partition = new TopicPartition(topic, par.partition());
			 list.add(partition);
		 }
		 //消费者指定要消费的分区，指定分区之后消费者崩溃之后 不会引发分区reblance
	     consumer.assign(list);
 
    	 //从list中所有分区的开头开始消费数据，这个操作不改变已提交的消费数据的offset
 	    // consumer.seekToBeginning(list);
	 
 
	 /*    for(TopicPartition tpar:list ){
	    	 //consumer.seek(tpar, position);
	     } */
     
 
		 while (true) {
		     ConsumerRecords<String, String> records = consumer.poll(5000);
		     System.out.println("topic: "+topic + " pool return records size: "+ records.count());
		     for (ConsumerRecord<String, String> record : records){
			 	 System.out.println(record.toString());
			 	  //手动提交已消费数据的offset
			 	 if("false".equalsIgnoreCase(isAutoCommitBool)){
			 		consumer.commitSync();
			 	 }
			 	
		     }
		   
		 }
	}
}

从当前最新获取数据

配置设置

设置auto.offset.reset为earliest或latest

默认是latest（消费者从最新的记录开始读取数据）；
     earliest（消费者从起始位置读取partition的记录）

Kafka-SparkStreaming设置

val conf = new SparkConf().setMaster("local[4]").setAppName("TagGen");
val sc = new StreamingContext(conf, Seconds(15)); //5 minter
val kafkaParams = Map[String, Object](
            "bootstrap.servers" -> "10.1.3.5:6667",
            "key.deserializer" -> classOf[StringDeserializer],
            "value.deserializer" -> classOf[StringDeserializer],
            "group.id" -> "test-consumer-group",
            "auto.offset.reset" -> "earliest", //从分区末尾获取数据，还可设置为earliest(从分区头获取数据)
            "enable.auto.commit" -> (false: java.lang.Boolean))

val topics = Array("TagGen")

// 解决数据积压问题
val stream = KafkaUtils.createDirectStream[String, String](
            sc,
            PreferConsistent,
            Subscribe[String, String](topics, kafkaParams)
            )
val sources = stream.map(e => e.value().toString) //e.value() 是kafka消息内容，e.key为空值

代码实现

/**
 * @author yujie.wang
 * kafka消费者示例，包含随机位置消费和最多一次消费方式
 * 消费者提交消费数据offset 分为自动提交和手动控制提交
 * 
 * 这份代码示例中包含了 多种从kafka的任意位置获取数据的方式
 */
public class Consumer_Sample {
 
	//kafka集群机器
	private static final String KAFKA_HOSTS = "10.4.30.151:9092,10.4.30.151:9093,10.4.30.151:9094";
	//topic名称
	private static final String TOPIC = "my-replicated-topic_2";
	
	public static void main(String[] args) {
		// TODO Auto-generated method stub
		Consumer_Sample consumer = new Consumer_Sample();
		//从分区的末尾 或者已存在groupid的请情况下从未消费位置开始消费数据
		consumer.consumerSubscribe("true", TOPIC);
				
		//通过配置属性auto.offset.reset 来设置消费者从分区开头或者末尾进行消费，但是需要使用一定条件的group Id
		consumer.consumerAutoOffsetReset("true", TOPIC);
		
		System.out.println("consumer end");
	}
	
	
	/**
	 * 直接通过订阅一个指定分区来消费数据
	 * (1)如果该groupId消费者分组下 有消费者提交过offset,则从 当前提交的offset位置开始消费数据
	 * (2)如果该groupId消费者分组下 没有有消费者提交过offset,则从 当前log添加的最后位置(也就是数据的末尾)开始消费数据
	 * @param isAutoCommitBool
	 * @param topic
	 */
	public void consumerSubscribe(final String isAutoCommitBool, final String topic){
		 Properties props = new Properties();
		 //配置kafka集群机器
		 props.put("bootstrap.servers", KAFKA_HOSTS);
		 //消费者分组
		 props.put("group.id", "yujie37");
		 //这里设置 消费者自动提交已消费消息的offset
		 props.put("enable.auto.commit", isAutoCommitBool);
		 // 设置自动提交的时间间隔为1000毫秒
		 props.put("auto.commit.interval.ms", "1000");
		 // 设置每次poll的最大数据个数
		 props.put("max.poll.records", 5);
		 props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 final KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
		 //订阅topic
		 consumer.subscribe(Arrays.asList(topic));
		 List<PartitionInfo> parList = consumer.partitionsFor(topic);
 
		 //打印出分区信息
		 printPartition(parList);
 
		 //消费数据
		 while (true) {
		     ConsumerRecords<String, String> records = consumer.poll(5000);
		     System.out.println("topic: "+topic + " pool return records size: "+ records.count());
		     for (ConsumerRecord<String, String> record : records){
			 	 System.out.println(record.toString());
			 	  //手动提交已消费数据的offset
			 	 if("false".equalsIgnoreCase(isAutoCommitBool)){
			 		consumer.commitSync();
			 	 }
			 	
		     }
		   
		 }
	}
	
	
	/**
	 * 
	 * @param isAutoCommitBool true 开启自动提交offset;false 不开启
	 * @param topic
	 * 如果groupId之前存在 ， 则从之前提交的最后消费数据的offset处继续开始消费数据
	 * 如果groupId之前不存在，则从当前分区的最后位置开始消费
	 * 
	 * 注意如果enable.auto.commit 设置为false，如果消费完数据没有提交已消费数据的offset，
	 * 则会出现重复消费数据的情况
	 */
	public void consumerAutoOffsetReset(final String isAutoCommitBool, final String topic){
		 Properties props = new Properties();
		 //配置kafka集群机器
		 props.put("bootstrap.servers", KAFKA_HOSTS);
		 //消费者分组
		 props.put("group.id", "yujie32");
		 //这里设置 消费者自动提交已消费消息的offset
		 props.put("enable.auto.commit", isAutoCommitBool);
		 // 设置自动提交的时间间隔为1000毫秒
		 props.put("auto.commit.interval.ms", "1000");
		 // 设置每次poll的最大数据个数
		 props.put("max.poll.records", 5);
		 //设置使用最开始的offset偏移量为该group.id的最早。如果不设置，则会是latest即该topic最新一个消息的offset
	     //如果采用latest，消费者只能得道其启动后，生产者生产的消息
		 //一般配置earliest 或者latest 值
	     props.put("auto.offset.reset", "latest");
		 props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 final KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
		 //订阅topic,并实现ConsumerRebalanceListener
		 consumer.subscribe(Arrays.asList(topic));
		 while (true) {
		     ConsumerRecords<String, String> records = consumer.poll(5000);
		     System.out.println("topic: "+topic + "pool return records size: "+ records.count());
		     for (ConsumerRecord<String, String> record : records){
			 	 System.out.println(record.toString());
			 	  //手动提交已消费数据的offset
			 	 if("false".equalsIgnoreCase(isAutoCommitBool)){
			 		consumer.commitSync();
			 	 }
			 	
		     }
		   
		 }
	}
 
	
	public void printPartition(List<PartitionInfo> parList){
		for(PartitionInfo p : parList){
			System.out.println(p.toString());
		}
	}
	
	/**
	 * 单独处理每个分区中的数据，处理完了之后异步提交offset,注意提交的offset是程序将要读取的下一条消息的offset
	 * @param consumer
	 */
	public void handlerData(KafkaConsumer<String, String> consumer){
		boolean running = true;
		try {
	         while(running) {
	             ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE);
	             for (TopicPartition partition : records.partitions()) {
	                 List<ConsumerRecord<String, String>> partitionRecords = records.records(partition);
	                 for (ConsumerRecord<String, String> record : partitionRecords) {
	                     System.out.println(record.offset() + ": " + record.value());
	                 }
	                 long lastOffset = partitionRecords.get(partitionRecords.size() - 1).offset();
	                 //注意提交的offset是程序将要读取的下一条消息的offset
	                 consumer.commitSync(Collections.singletonMap(partition, new OffsetAndMetadata(lastOffset + 1)));
	             }
	         }
	     } finally {
	       consumer.close();
	     }
	}
	
	
}

从上次断开处获取数据

代码实现

/**
 * @author yujie.wang
 * kafka消费者示例，包含随机位置消费和最多一次消费方式
 * 消费者提交消费数据offset 分为自动提交和手动控制提交
 * 
 * 这份代码示例中包含了 多种从kafka的任意位置获取数据的方式
 */
public class Consumer_Sample {
 
	//kafka集群机器
	private static final String KAFKA_HOSTS = "10.4.30.151:9092,10.4.30.151:9093,10.4.30.151:9094";
	//topic名称
	private static final String TOPIC = "my-replicated-topic_2";
	
	public static void main(String[] args) {
		// TODO Auto-generated method stub
		Consumer_Sample consumer = new Consumer_Sample();
		//从分区的末尾 或者已存在groupid的请情况下从未消费位置开始消费数据
		consumer.consumerSubscribe("true", TOPIC);
		System.out.println("consumer end");
	}
	
	
	/**
	 * 直接通过订阅一个指定分区来消费数据
	 * (1)如果该groupId消费者分组下 有消费者提交过offset,则从 当前提交的offset位置开始消费数据
	 * (2)如果该groupId消费者分组下 没有有消费者提交过offset,则从 当前log添加的最后位置(也就是数据的末尾)开始消费数据
	 * @param isAutoCommitBool
	 * @param topic
	 */
	public void consumerSubscribe(final String isAutoCommitBool, final String topic){
		 Properties props = new Properties();
		 //配置kafka集群机器
		 props.put("bootstrap.servers", KAFKA_HOSTS);
		 //消费者分组
		 props.put("group.id", "yujie37");
		 //这里设置 消费者自动提交已消费消息的offset
		 props.put("enable.auto.commit", isAutoCommitBool);
		 // 设置自动提交的时间间隔为1000毫秒
		 props.put("auto.commit.interval.ms", "1000");
		 // 设置每次poll的最大数据个数
		 props.put("max.poll.records", 5);
		 props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 final KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
		 //订阅topic
		 consumer.subscribe(Arrays.asList(topic));
		 List<PartitionInfo> parList = consumer.partitionsFor(topic);
 
		 //打印出分区信息
		 printPartition(parList);
 
		 //消费数据
		 while (true) {
		     ConsumerRecords<String, String> records = consumer.poll(5000);
		     System.out.println("topic: "+topic + " pool return records size: "+ records.count());
		     for (ConsumerRecord<String, String> record : records){
			 	 System.out.println(record.toString());
			 	  //手动提交已消费数据的offset
			 	 if("false".equalsIgnoreCase(isAutoCommitBool)){
			 		consumer.commitSync();
			 	 }
			 	
		     }
		   
		 }
	}
}

从指定offset处获取数据

代码实现

/**
 * @author yujie.wang
 * kafka消费者示例，包含随机位置消费和最多一次消费方式
 * 消费者提交消费数据offset 分为自动提交和手动控制提交
 * 
 * 这份代码示例中包含了 多种从kafka的任意位置获取数据的方式
 */
public class Consumer_Sample {
 
	//kafka集群机器
	private static final String KAFKA_HOSTS = "10.4.30.151:9092,10.4.30.151:9093,10.4.30.151:9094";
	//topic名称
	private static final String TOPIC = "my-replicated-topic_2";
	
	public static void main(String[] args) {
		// TODO Auto-generated method stub
		Consumer_Sample consumer = new Consumer_Sample();
		//从指定的分区  开始位置seekToBeginning 或者任意位置seek消费数据
		consumer.consumerAssin("true", TOPIC);
		System.out.println("consumer end");
	}
	
	
	/**
	 * 通过assign分配的分区,消费者发生故障 Server端不会触发分区重平衡(即使该消费者共享某个已有的groupId)，每个消费者都是独立工作的
	 * 为了避免offset提交冲突，需要确保每个消费者都有唯一的groupId
	 * 从指定的分区的开头开始消费数据
	 * @param isAutoCommitBool true 开启自动提交offset;false 不开启
	 * @param topic
	 */
	public void consumerAssin(String isAutoCommitBool,String topic){
		 Properties props = new Properties();
		 //配置kafka集群机器
		 props.put("bootstrap.servers", KAFKA_HOSTS);
		 //消费者分组
		 props.put("group.id", "yujie35");
		 //这里设置 消费者自动提交已消费消息的offset
		 props.put("enable.auto.commit", isAutoCommitBool);
		 // 设置自动提交的时间间隔为1000毫秒
		 props.put("auto.commit.interval.ms", "1000");
		 // 设置每次poll的最大数据个数
		 props.put("max.poll.records", 5);
		 props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
		 //获得topic的所有分区
		 List<PartitionInfo> parList = consumer.partitionsFor(topic);
		 //打印出分区信息
		 printPartition(parList);
		 
		 List<TopicPartition> list = new ArrayList<TopicPartition>();
		 for(PartitionInfo par : parList){
			 TopicPartition partition = new TopicPartition(topic, par.partition());
			 list.add(partition);
		 }
		 //消费者指定要消费的分区，指定分区之后消费者崩溃之后 不会引发分区reblance
	     consumer.assign(list);
 
    	 //从list中所有分区的开头开始消费数据，这个操作不改变已提交的消费数据的offset
 	    // consumer.seekToBeginning(list);
	 
 
	 /*    for(TopicPartition tpar:list ){
	    	 //consumer.seek(tpar, position);
	     } */
     
 
		 while (true) {
		     ConsumerRecords<String, String> records = consumer.poll(5000);
		     System.out.println("topic: "+topic + " pool return records size: "+ records.count());
		     for (ConsumerRecord<String, String> record : records){
			 	 System.out.println(record.toString());
			 	  //手动提交已消费数据的offset
			 	 if("false".equalsIgnoreCase(isAutoCommitBool)){
			 		consumer.commitSync();
			 	 }
			 	
		     }
		   
		 }
	}
}

从指定时刻获取数据

/**
 * @author yujie.wang
 * kafka消费者示例，包含随机位置消费和最多一次消费方式
 * 消费者提交消费数据offset 分为自动提交和手动控制提交
 * 
 * 这份代码示例中包含了 多种从kafka的任意位置获取数据的方式
 */
public class Consumer_Sample {
 
	//kafka集群机器
	private static final String KAFKA_HOSTS = "10.4.30.151:9092,10.4.30.151:9093,10.4.30.151:9094";
	//topic名称
	private static final String TOPIC = "my-replicated-topic_2";
	
	public static void main(String[] args) {
		// TODO Auto-generated method stub
		Consumer_Sample consumer = new Consumer_Sample();
		
		// 通过实现ConsumerRebalanceListener接口 进而时间任意位置的消费
		consumer.consumerSubscribeImplListener("true", TOPIC);

		System.out.println("consumer end");
	}
	
	
	
	/**
	 * 
	 * @param isAutoCommitBool true 开启自动提交offset;false 不开启
	 * @param topic
	 * (1)如果该groupId消费者分组下 有消费者提交过offset,则从 当前提交的offset位置开始消费数据
	 * (2)如果该groupId消费者分组下 没有有消费者提交过offset,则从 当前log添加的最后位置(也就是数据的末尾)开始消费数据
	 * 
	 * 注意如果enable.auto.commit 设置为false，如果消费完数据没有提交已消费数据的offset，
	 * 则会出现重复消费数据的情况
	 * 
	 * 通过实现ConsumerRebalanceListener接口中的onPartitionsAssigned方法，并在其中调用消费者的seek或者seekToBeginning
	 * 方法定位分区的任意位置或者开头位置
	 */
	public void consumerSubscribeImplListener(final String isAutoCommitBool, final String topic){
		 Properties props = new Properties();
		 //配置kafka集群机器
		 props.put("bootstrap.servers", KAFKA_HOSTS);
		 //消费者分组
		 props.put("group.id", "yujie26");
		 //这里设置 消费者自动提交已消费消息的offset
		 props.put("enable.auto.commit", isAutoCommitBool);
		 // 设置自动提交的时间间隔为1000毫秒
		 props.put("auto.commit.interval.ms", "1000");
		 // 设置每次poll的最大数据个数
		 props.put("max.poll.records", 5);
		 props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
		 final KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
		 //订阅topic,并实现ConsumerRebalanceListener
		 consumer.subscribe(Arrays.asList(topic), new ConsumerRebalanceListener(){
			@Override
			public void onPartitionsRevoked(//分区撤销时，消费者可以向该分区提交自己当前的offset
					Collection<TopicPartition> collection) {
				// TODO Auto-generated method stub
				if("false".equalsIgnoreCase(isAutoCommitBool)){
					//consumer.commitSync();
				}
			}
 
			@Override
			public void onPartitionsAssigned(//当分区分配给消费者时，消费者可以通过该方法重新定位需要消费的数据位置
					Collection<TopicPartition> collection) {
				// TODO Auto-generated method stub
				//将消费者定位到各个分区的开始位置进行消费
		/*		consumer.seekToBeginning(collection);
				System.out.println("seek beg");*/
			
				Iterator it = collection.iterator();
				while(it.hasNext()){
					//将消费者定位到指定分区的指定位置7进行消费
					consumer.seek((TopicPartition)it.next(), 7);
				}
				
			}
		 });
		 while (true) {
		     ConsumerRecords<String, String> records = consumer.poll(5000);
		     System.out.println("topic: "+topic + "pool return records size: "+ records.count());
		     for (ConsumerRecord<String, String> record : records){
			 	 System.out.println(record.toString());
			 	  //手动提交已消费数据的offset
			 	 if("false".equalsIgnoreCase(isAutoCommitBool)){
			 		consumer.commitSync();
			 	 }
			 	
		     }
		   
		 }
	}
	
 
}

引用：https://blog.csdn.net/u011784767/article/details/78663168

小学僧来啦
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于怎么获取kafka指定位置offset消息
小白杨
08-11 3万+
1.在kafka中如果不设置消费的信息的话，一个消息只能被一个group.id消费一次，而新加如的group.id则会被“消费管理”记录，并指定从当前记录的消息位置开始向后消费。如果有段时间消费者关闭了，并有发送者发送消息那么下次这个消费者启动时也会接收到，但是我们如果想要从这个topic的第一条消息消费呢？ public class SimpleConsumerPerSonIndex2 {
kafka是如何高效读取指定offset的消息？
代灿灿灿的博客
09-13 7932
1、segment 随着partition文件的不断增加，文件越来越大，对于消息文件的维护和已经消费的消息的清理会带来麻烦。因此partition目录被多个连续的segment划分，segment构成了kafka的最小存储单元。这种特性也方便old segment的删除，释放空间。segment的生命周期由服务端配置参数（log.segment.bytes，log.roll.{ms,hours}...
Kafka简介、从kafka中动态获取数据（指定获取条数）、动态设置偏移量、优化kafka调用时间
最新发布
qq_52066082的博客
05-06 312
Kafka是一种消息队列，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。既然是消息队列，那么Kafka也就拥有消息队列的相应的特性了。
Kafka 如何读取offset topic内容 (__consumer_offsets)
不见其长，日有所长
02-27 1828
1. 前言 众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。 不过依然有很多用户希望了解__consumer_offsets topic内部到底保存了什...
Flink 1.10消费kafka topic 设置偏移量的几种方式
马斯特杨的博客
05-29 4001
所以必须配置group.id参数从消费者组提交的偏移量开始读取分区（kafka或zookeeper中）。如果找不到分区的偏移量，auto.offset.reset将使用属性中的设置。如果是默认行为(setStartFromGroupOffsets),那么任务从检查点重启，按照重启前的offset进行消费，如果直接重启不从检查点重启并且group.id不变，程序会按照上次提交的offset的位置继续消费。如果group.id改变了，则程序按照auto.offset.reset设置的属性进行消费。但是如果程序带
Kafka代码实现--from-beginning，读取历史未消费的数据
热门推荐
Coding Road
07-29 3万+
Kafka实际环境有可能会出现Consumer全部宕机，虽然基于Kafka的高可用特性，消费者群组中的消费者可以实现再均衡，所有Consumer不处理数据的情况很少，但是还是有可能会出现，此时就要求Consumer重启的时候能够读取在宕机期间Producer发送的数据。基于消费者订阅模式默认是无法实现的，因为只能订阅最新发送的数据。 通过消费者命令行可以实现，只要在命令行中加上--from-be...
python每5分钟从kafka中提取数据的例子
09-18
在这个例子中，`sys`用于调整Python路径，`datetime`用于处理时间，`os`用于文件操作，而自定义的`KafkaDownloader`类则负责从Kafka消费数据并将其写入文件。 在定义变量部分，`TOPIC`代表Kafka中的主题，`HOSTS`是...
kafka-python 获取topic lag值方式
09-18
总结来说，Kafka的Lag是监控和管理Kafka集群性能的关键指标，通过`kafka-python`库可以实现自定义的方式来获取它。上述代码示例提供了一个基础的实现，但实际使用时可能需要根据具体场景进行调整，例如处理多主题、...
使用netty实现TCP长链接消息写入kafka以及kafka批量消费数据
07-20
在IT行业中，网络通信和大数据处理是两个至关重要的领域，Netty和Kafka分别是这两个领域的佼佼者。Netty是一个高性能、异步事件驱动的网络应用程序框架，常用于开发高并发、低延迟的网络应用，如TCP服务器。而Kafka...
使用kafka进行自定义注解日志存储，日志存储使用的是influxDB数据库
11-22
消费者从Kafka主题中拉取消息，解析出日志数据，然后将这些数据写入InfluxDB，形成完整的日志存储链路。 在实际应用中，我们需要注意以下几点： 1. **数据格式**：确保日志数据格式适合InfluxDB的写入要求，通常...
Kafka读数工具
06-22
总结来说，"Kafka读数工具"是Kafka生态系统的一个实用组件，简化了从Kafka主题中获取数据的过程。通过添加适当的序列化库和配置Kafka连接信息，用户可以在无需编写代码的情况下便捷地查看和分析Kafka中的数据流。这...
springboot中如何实现kafa指定offset消费
08-25
主要介绍了springboot中如何实现kafa指定offset消费,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
java 读取kafka指定offset的内容
qq_38151907的博客
07-25 7088
java 读取kafka指定offset的内容
获取指定时间kafka的offset
麻辣灬小笼包的博客
07-12 1624
public static void main(String[] args) throws ParseException { String topicName = args[0]; String timeStamp = args[1];//yyyy-MM-dd HH:mm:ss String kafkaNode = args[2];//10.1.*.186:9092,10.1.*.187:9092,10.1.*.188:9092 ...
大厂面试官竟然这么爱问Kafka，一连八个Kafka问题把我问蒙了？
yuan_more的博客
01-14 662
本文首发于公众号：五分钟学大数据 在面试的时候，发现很多面试官特别爱问Kafka相关的问题，这也不难理解，谁让Kafka是大数据领域中消息队列的唯一王者，单机十万级别的吞吐量，毫秒级别的延迟，这种天生的分布式消息队列，谁能不爱？ 在最近的一场面试中，有个面试官看到简历中的项目上写Kafka了，就直接开问Kafka，其他问题基本没问。下面来看下面试官的Kafka八连问： （以下答案是参考网上资料整理而成，实际面试时只回答了大约三分之一） 1. 为什么要使用 kafka？ 缓冲和削峰：上游数据时有突发流量，
Kafka的数据offset读取流程
qq_45275284的博客
03-27 322
连接Zk集群，从ZK中拿到对应topic的partition信息和partition的Leader的相关信息 连接到对应Leader对应的broker consumer将自己已保存的offset发送给Leader Leader根据offset等信息定位到segment(索引文件和日志文件) 根据索引文件中的内容，定位到日志文件中该偏移量对应的位置读取相应长度的数据并返回给consumer。
Kafka之读取指定Topic-Partition-Offset之后的消息
TomAndersen的博客
03-21 1199
前言 kafka版本：2.11-2.1.1 基于Kafka Java API 主要是通过封装Conusmer.assign和Consumer.seek方法实现此功能。前者的作用是将指定Topic-Partition分配给对应的Consumer，后者的作用是将Consumer在指定的Topic-Partition中的Offset置于指定位置 代码 /** * <p>主要用...
Kafka拉取某一个时间段內的消息
xo19882011的专栏
09-01 5208
一般来说我们都使用Kafka来记录用户的操作记录以便后续分析。 但是通常使用的时候需要按天来统计每天的去重用户数、点击量之类的。 这个时候如果直接拉某个topic的数据的话，就需要判断每个消息的时间戳，还要兼顾把所有的Partition都拉完才能保证数据的完整。 因此如果能只拉取某一个时间段内的消息，就能极大的简化后续的处理逻辑。 拉取时段内消息实现 为了实现这个目的借助于根据时间戳获取Partition内部偏移的方法，然后逐个拉取所有的Partition的消息。 实验例子，python+confluenc
[Spark基础]-- spark streaming从指定offset处消费Kafka数据(第一种方式)
欢迎来到我的博客，一起探索代码里的世界！
12-18 1万+
一、情景：当spark streaming程序意外退出时，数据仍然再往Kafka中推送，然而由于Kafka默认是从latest的offset读取，这会导致数据丢失。为了避免数据丢失，那么我们需要记录每次消费的offset，以便下次检查并且从指定的offset开始读取 二、环境：kafka-0.9.0、spark-1.6.0、jdk-1.7、scala-2.10.5、idea16 三、实现代码：...
datax从kafka同步数据到kafka中，如何给kafkareader添加两个之前kafka中没有的自定义的字段，这两个字段可以被赋值，应该怎么修改源码实现以上功能，感觉要用kafkareader中的writeOrder属性
06-10
// 将自定义字段添加到数据中 JSONObject json = JSON.parseObject(data); json.put("field1", "value1"); json.put("field2", "value2"); // 将处理后的数据重新写入Record中 record.setData(json....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值