kafka 多台consumer 实验

最近和实验室哥们儿在搞storm kafka的东西。

两者始终不能连接起来。

突然想到以前自己写consumer的demo的时候，仅仅是一台机子在pull 数据，从来没有试过用属于同一个group的consumer(部署在多台机子上)去pull数据，于是今天准备做个实验。直接上consumer的代码，这里用的是consumer的high-level接口。

package cn.cadal;


import kafka.consumer.ConsumerConfig;
import kafka.consumer.ConsumerIterator;
import kafka.consumer.KafkaMessageStream;
import kafka.javaapi.consumer.ConsumerConnector;
import kafka.message.Message;

import java.nio.ByteBuffer;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;



public class MyConsumer {
	static private final Log LOG = LogFactory.getLog(MyConsumer.class);
	/**
	 * @param args
	 */
	public MyConsumer() {
	}

	public static void main(String[] args) {
		// TODO Auto-generated method stub

		Properties props = new Properties();
		props.put