kafka系列 -- 多线程消费者实现

看了一个星期的kafka，然后写了消费Kafka数据的代码。
感觉自己还是很不合格。

1. 不能随心所欲地操作数据，数据结构没学好，spark的RDD操作没学好。
2. 不能很好地组织代码结构，设计模式没学好，面向对象思想理解不够。

消费程序特点

1. 用队列来存储要消费的数据。
2. 用队列来存储要提交的offest，然后处理线程将其给回消费者提交。
3. 每个分区开一个处理线程来处理数据，分区与处理器的映射放在map中。
4. 当处理到一定的数量或者距离上一次处理一定的时间间隔后, 由poll线程进行提交offset。

不好的地方：

1. 每次处理的数据太少，而且每个数据都进行判断其分区是否已经有处理线程在处理了。
2. 获取topic不太优雅。

流程图

下面是多线程消费者实现：

1. 管理程序

/**
 * 负责启动消费者线程MsgReceiver, 保存消费者线程MsgReceiver, 保存处理任务和线程RecordProcessor, 以及销毁这些线程
 * Created by stillcoolme on 2018/10/12.
 */
public class KafkaMultiProcessorMain {
    private static final Logger logger = LoggerFactory.getLogger(KafkaMultiProcessorMain.class);
    // 消费者参数
    private Properties consumerProps = new Properties();
    // kafka消费者参数
    Map<String, Object> consumerConfig;
    //存放topic的配置
    Map<String, Object> topicConfig;

    //订阅的topic
    private String alarmTopic;
    //消费者线程数组
    private Thread[] threads;

    //保存处理任务和线程的map
    ConcurrentHashMap<TopicPartition, RecordProcessor> recordProcessorTasks = new ConcurrentHashMap<>();
    ConcurrentHashMap<TopicPartition, Thread> recordProcessorThreads = new ConcurrentHashMap<>();

    public void setAlarmTopic(String alarmTopic) {
        this.alarmTopic = alarmTopic;
    }

    public static void main(String[] args) {
        KafkaMultiProcessorMain kafkaMultiProcessor = new KafkaMultiProcessorMain();
        //这样设置topic不够优雅啊！！！
        kafkaMultiProcessor.setAlarmTopic("picrecord");

        kafkaMultiProcessor.init(null);
    }

    private void init(String consumerPropPath) {
        getConsumerProps(consumerPropPath);
        consumerConfig = getConsumerConfig();

        int threadsNum = 3;
        logger.info("create " + threadsNum + " threads to consume kafka warn msg");
        threads = new Thread[threadsNum];
        for (int i = 0; i < threadsNum; i++) {
            MsgReceiver msgReceiver = new MsgReceiver(consumerConfig, alarmTopic, recordProcessorTasks, recordProcessorThreads);
            Thread thread = new Thread(msgReceiver);
            threads[i] = thread;
        }
        fo