消费消息
package com.jasongj.kafka.consumer;
import java.util.Arrays;
import java.util.Collections;
import java.util.List;
import java.util.Properties;
import java.util.concurrent.atomic.AtomicLong;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.common.serialization.StringDeserializer;
public class DemoConsumerCommitPartition {
public static void main(String[] args) throws Exception {
//args = new String[] { "kafka0:9092", "topic1", "group2", "consumer2" };
args = new String[] { "localhost:9092", "topic1", "test-consumer-group", "consumer3" };
if (args == null || args.length != 4) {
System.err.println(
"Usage:\n\tjava -jar kafka_consumer.jar ${bootstrap_server} ${topic_name} ${group_name} ${client_id}");
System.exit(1);
}
String bootstrap = args[0];
String topic = args[1];
String groupid = args[2];
String clientid = args[3];
Properties props = new Properties();
props.put("bootstrap.servers", bootstrap);
props.put("group.id", groupid);
props.put("enable.auto.commit", "false");
props.put("key.deserializer", StringDeserializer.class.getName());
props.put("value.deserializer", StringDeserializer.class.getName());
props.put("max.poll.interval.ms", "300000");
props.put("max.poll.records", "500");
props.put("auto.offset.reset", "earliest");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList(topic));
while (true) {
ConsumerRecords<String, String> records = consumer.poll(100);
records.partitions().forEach(topicPartition -> {
List<ConsumerRecord<String, String>> partitionRecords = records.records(topicPartition);
partitionRecords.forEach(record -> {
System.out.printf("client : %s , topic: %s , partition: %d , offset = %d, key = %s, value = %s%n", clientid, record.topic(),
record.partition(), record.offset(), record.key(), record.value());
});
long lastOffset = partitionRecords.get(partitionRecords.size() - 1).offset();
consumer.commitSync(Collections.singletonMap(topicPartition, new OffsetAndMetadata(lastOffset + 1)));
});
}
}
}
生产消息
package com.jasongj.kafka.producer;
import java.util.Properties;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import java.util.Date;
import java.util.Calendar;
import java.text.SimpleDateFormat;
public class ProducerDemo {
public static void main(String[] args) throws Exception {
Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("acks", "all");
props.put("retries", 3);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", StringSerializer.class.getName());
props.put("value.serializer", StringSerializer.class.getName());
props.put("partitioner.class", HashPartitioner.class.getName());
props.put("interceptor.classes", EvenProducerInterceptor.class.getName());
Producer<String, String> producer = new KafkaProducer<String, String>(props);
Date now = new Date();
SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy/MM/dd HH:mm:ss");
String time = dateFormat.format( now );
System.out.println(time);
for (int i = 0; i <= 1000000; i++)
producer.send(new ProducerRecord<String, String>("topic1", Integer.toString(i)+"[------grj------]", Integer.toString(i)+" [---" +
"grj1111111111111111111111111111111111111111111111111111111111111111111111111111111111" +
"0032222222222222222222222222222222222222222222222222222222222222222222222222222222222" +
"--33333333333333333333333333333333333333333333333333333333333333333333333333333333333" +
"-444444444444444444444444444444444444444444444444444444444444444444444444444444444444" +
"55555555555555555555555555555555555555555555555555555555555555555555555555555555555555" +
"66666666666666666666666666666666666666666666666666666666666666666666666666666666666666" +
"7777777777777777777777777777777777777777777777777777777777777777777777777777777777777]"));
producer.close();
Date now1 = new Date();
SimpleDateFormat dateFormat1 = new SimpleDateFormat("yyyy/MM/dd HH:mm:ss");
String time1 = dateFormat.format( now1 );
System.out.println(time1);
}
}