前言:
公司要用这个技术,所以把搭建过程和代码记录下来,因为卡夫卡版本的问题坑了2天时间,最后解决了
软件版本号:linux OS6.5 jdk1.8 kafka kafka_2.11-1.0.1(去官网下载,别下载错了,不是下载源码)
1
把压缩包拉过去。
tar zxvf kafka_2.11-1.0.1.tar.gz解压缩
2
得到这些东西
把光标移动到卡夫卡下
命令vim config / server.properties
添加host.name =你自己的服务器ip保存下
其他都不要动
像我这样打开4个链接
开启自带的zookeeper服务 bin
/zookeeper-server-start
.sh config
/zookeeper
.properties &
开启kafka服务 (不推荐)
bin
/kafka-server-start
.sh config
/server
.properties
具体什么意思不知道,反正这样启动比较好:
nohup bin
/zookeeper-server-start
.sh -daemon config
/zookeeper
.properties &
以守护进程的方式启动(推荐):nohup bin
/
kafka-server-start.sh -daemon config/server.properties &
创建一个话题(类似于一个创建一个桌子打麻将)
bin
/kafka-topics
.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic
test
看下当前话题(看看自己有几桌麻将) bin
/kafka-topics
.sh --list --zookeeper localhost:2181
创建一个话题发布者 bin
/kafka-console-producer
.sh --broker-list localhost:9092 --topic
test
端口号是默认的,--topic后面的是你的话题的名字,可以自定义
创建一个话题的消费者
bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --from-beginning --topic test
现在应该你发布消息,你那边的消费者是可以得到信息了,简单的单节点卡夫卡就搭建好了,下面是java的端的消费者和发布者代码
发布者
import kafka.javaapi.producer.Producer;
导入kafka.producer.KeyedMessage;
导入kafka.producer.ProducerConfig;
import java.util.Properties;
import java.util.concurrent.TimeUnit;
公共课F {
public static void main(String [] args)throws InterruptedException {
属性props = new Properties();
props.put( “zk.connect”, “192.168.0.112:2181”);
props.put( “metadata.broker.list”, “192.168.0.112:9092”);
props.put( “serializer.class”, “kafka.serializer.StringEncoder”);
ProducerConfig config = new ProducerConfig(道具);
Producer <String,String> producer = new Producer <String,String>(config);
for(int i = 1; i <50; i ++){
TimeUnit.SECONDS.sleep(1);
producer.send(new KeyedMessage <String,String>(“test”,i +“”));
}
}
}
消费者
进口kafka.consumer.Consumer;
import kafka.consumer.ConsumerConfig;
进口kafka.consumer.KafkaStream;
import kafka.javaapi.consumer.ConsumerConnector;
import kafka.message.MessageAndMetadata;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
公共类sad2扩展Thread {
/ **
* @Description:消费者
* /
private static void customer(){
属性properties = new Properties();
properties.put("zookeeper.connect", "192.168.0.112:2181");//zk的服务器
properties.put("auto.offset.reset", "smallest");
properties.put("group.id","test-consumer-group");//这个值是默认的分组id,不需要改
ConsumerConfig config = new ConsumerConfig(properties);
ConsumerConnector consumer = Consumer.createJavaConsumerConnector(config);
Map<String,Integer> topicCountMap = new HashMap<String,Integer>();
topicCountMap.put("test",1);//话题名称,用几个线程去消费
Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);
List<KafkaStream<byte[],byte[]>> streams = consumerMap.get("test");//获取话题内容
for(final KafkaStream<byte[],byte[]> kafkaStream : streams){
new Thread(new Runnable() {
@Override
public void run() {
for(MessageAndMetadata<byte[],byte[]> mm : kafkaStream){
String msg = new String(mm.message());
System.out.println(msg);
}//写业务逻辑
}
}).start();
}
}
public static void main(String[] args) {
customer();
}
}
OK,单节点的就完成了
解决重复消费的问题 http://blog.51cto.com/tryagaintry/2059359
kafka详解 http://www.importnew.com/24973.html
kafka测试分析 http://chuansong.me/n/1202245
springboot实例 http://www.jb51.net/article/123039.htm
常用命令 https://www.cnblogs.com/zzt-lovelinlin/p/6228773.html
zk集群下,搭建kafka集群https://blog.csdn.net/my_bai/article/details/68490632
吊大的写的kafka详解https://blog.csdn.net/suifeng3051/article/details/48053965