kafka入门安装学习与JAVA客户端使用

kafka入门安装学习

1、linux环境下kafka下载安装

下载压缩包

cd /opt && wget https://www-eu.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz

如果wget无此命令提示符，执行yum wget 命令进行安装

解压压缩包

tar -xzf kafka_2.12-2.3.0.tgz
cd kafka_2.12-2.3.0.tgz

2、编辑配置文件

进入配置文件

vi config/server.properties

在最后添加服务器IP

host.name=192.168.101.193

3、启动服务

kafka是需要使用zookeeper的，若安装单机的则可以直接启动kafka自带的zookeeper

启动zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties &

启动kafka

bin/kafka-server-start.sh config/server.properties &

注：如果只开启一个窗口进行操作，必须在命令行最后添加&，表示后台启动，否则Ctrl+C后该进程就会自动结束

4、创建一个主题（Topic）

创建一个名为“test”的Topic，有一个分区和一个备份：

bin/kafka-topics.sh --create --zookeeper 192.168.101.193:2181 --replication-factor 1 --partitions 1 --topic test

创建好之后，可以查看已创建的主题信息

bin/kafka-topics.sh --list --zookeeper 192.168.101.193:2181

5、发送消息

Kafka提供了一个命令行的工具，可以从命令行中读取消息并发送给Kafka集群。每一行是一条消息。
运行producer（生产者）,然后在控制台输入几条消息到服务器。

bin/kafka-console-producer.sh --broker-list 192.168.101.193:9092 --topic test
> This is a message
> My name is PT

6、消费消息
Kafka也提供了一个消费消息的命令行工具，将存储的信息输出出来

bin/kafka-console-consumer.sh --bootstrap-server 192.168.101.193:9092 --topic test --from-beginning
> This is a message
> My name is PT

JAVA客户端使用

1、先引入依赖包

<dependencies>
	<dependency>
	      <groupId>org.apache.kafka</groupId>
	      <artifactId>kafka_2.11</artifactId>
	      <version>1.0.1</version>
	</dependency>
	<dependency>
	      <groupId>org.apache.kafka</groupId>
	      <artifactId>kafka-clients</artifactId>
	      <version>1.0.1</version>
	</dependency>
</dependencies>

2、生产者代码

package com.dapeng.test.kfk;

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;


public class KafkaTest {
	public static void main(String args[]) {
		
		//1.参数配置：端口、缓冲内存、最大连接数、key序列化、value序列化等等（不是每一个非要配置）
		Properties props=new Properties();
		props.put("bootstrap.servers", "192.168.101.193:9092");
		props.put("acks", "all");
		props.put("retries", 0);
		props.put("batch.size", 16384);
		props.put("linger.ms", 1);
		props.put("buffer.memory", 33554432);
		props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
		
		//2.创建生产者对象，并建立连接
		Producer<String, String> producer = new KafkaProducer<>(props);
		
		//3.在my-topic主题下，发送消息
		for(int i = 0; i < 10; i++) {
			producer.send(new ProducerRecord<String, String>("my-topic", Integer.toString(i), Integer.toString(i)));
		}
		
		//4.关闭
		producer.close();
		
	}

}

3、消费者代码

package com.dapeng.test.kfk;

import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

public class Customer {

	public static void main(String args[]) {
		
	    //1.参数配置:不是每一非得配置
	    Properties props = new Properties();
	    props.put("bootstrap.servers", "192.168.101.193:9092");
	    props.put("auto.commit.interval.ms", "1000");
	    //因为每一个消费者必须属于某一个消费者组，所以必须还设置group.id
	    props.put("group.id", "test");
	    props.put("enable.auto.commit", "true");
	    props.put("session.timeout.ms", "30000");
	    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
	    
	    //2.创建消费者对象，并建立连接
	    KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
	    
	    //3.设置从"my-topic"主题下拿取数据
	    consumer.subscribe(Arrays.asList("my-topic"));
	    
	    //4.消费数据
	    while (true) {
	    	//阻塞时间，从kafka中取出100毫秒的数据，有可能一次性去除0-n条
	        ConsumerRecords<String, String> records = consumer.poll(100);
	        //遍历
	        for (ConsumerRecord<String, String> record : records)
	        	//打印结果
                        //System.out.printf("offset = %d, key = %s, value = %s", record.offset(), record.key(), record.value());
	        	System.out.println("消费者消费的数据为："+record.value());
	    }

	}
}

4、运行

1. 先运行生产者代码
2. 查看主题列表bin/windows/kafka-topics.bat --list --zookeeper 192.168.101.193:2181
3. 运行消费者代码，可以看到会消费生产者生产的消息
   因为只有my-topic主题下只有默认的一个分区，所以消息都放在此分区下面，所以消费的数据都是有序的，如果有该主题下有多个分区，那么分区与分区之间就不是有序的了