kafka多线程消费和手动提交offset,新版java api

kafka消费模型(图片引用自胡夕大神的博客:http://www.cnblogs.com/huxi2b/p/6124937.html):


下面直接上代码:

package cn.com.duiba.test;

public class Cache {
	private static Cache instance = null;
	/**
	 * kafka 拉取数据线程的状态, false:停止获取数据
	 */
	private boolean kafkaThreadStatus = true;
	
	public static Cache getInstance(){
		if(instance == null){
			init();
		}
		return instance;
	}
	
	public synchronized static void init(){
		if(instance == null){
			instance = new Cache();
		}
	}

	public boolean isKafkaThreadStatus() {
		return kafkaThreadStatus;
	}
	public void setKafkaThreadStatus(boolean kafkaThreadStatus) {
		this.kafkaThreadStatus = kafkaThreadStatus;
	}

}

package cn.com.duiba.test;

import java.util.concurrent.Callable;
import java.util.concurrent.Semaphore;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class WorkThread implements Callable<String>{
	private static Logger logger = LoggerFactory.getLogger(WorkThread.class);
	/**
	 * 记录解析失败的日志或者发送到kafka集群失败的日志
	 */
	private String topic;
	private String message;
	private Semaphore semaphore;
	
	public WorkThread(String topic, String message, Semaphore semaphore){
		this.topic = topic;
		this.message = message;
		this.sem
  • 9
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值