kafka消费者、生产者、生产消息、消费消息

消费消息

package com.jasongj.kafka.consumer;

import java.util.Arrays;
import java.util.Collections;
import java.util.List;
import java.util.Properties;
import java.util.concurrent.atomic.AtomicLong;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.OffsetAndMetadata;
import org.apache.kafka.common.serialization.StringDeserializer;

public class DemoConsumerCommitPartition {

	public static void main(String[] args) throws Exception {
		//args = new String[] { "kafka0:9092", "topic1", "group2", "consumer2" };
		args = new String[] { "localhost:9092", "topic1", "test-consumer-group", "consumer3" };
		if (args == null || args.length != 4) {
			System.err.println(
					"Usage:\n\tjava -jar kafka_consumer.jar ${bootstrap_server} ${topic_name} ${group_name} ${client_id}");
			System.exit(1);
		}
		String bootstrap = args[0];
		String topic = args[1];
		String groupid = args[2];
		String clientid = args[3];
		
		Properties props = new Properties();
		props.put("bootstrap.servers", bootstrap);
		props.put("group.id", groupid);
		props.put("enable.auto.commit", "false");
		props.put("key.deserializer", StringDeserializer.class.getName());
		props.put("value.deserializer", StringDeserializer.class.getName());
		props.put("max.poll.interval.ms", "300000");
		props.put("max.poll.records", "500");
		props.put("auto.offset.reset", "earliest");
		KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
		consumer.subscribe(Arrays.asList(topic));
		while (true) {
			ConsumerRecords<String, String> records = consumer.poll(100);
			records.partitions().forEach(topicPartition -> {
				List<ConsumerRecord<String, String>> partitionRecords = records.records(topicPartition);
				partitionRecords.forEach(record -> {
					System.out.printf("client : %s , topic: %s , partition: %d , offset = %d, key = %s, value = %s%n", clientid, record.topic(),
							record.partition(), record.offset(), record.key(), record.value());
				});
				long lastOffset = partitionRecords.get(partitionRecords.size() - 1).offset();
                consumer.commitSync(Collections.singletonMap(topicPartition, new OffsetAndMetadata(lastOffset + 1)));
			});
		}
	}

}

生产消息

package com.jasongj.kafka.producer;

import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;

import java.util.Date;
import java.util.Calendar;

import java.text.SimpleDateFormat;

public class ProducerDemo {

	public static void main(String[] args) throws Exception {
		Properties props = new Properties();
		props.put("bootstrap.servers", "localhost:9092");
		props.put("acks", "all");
		props.put("retries", 3);
		props.put("batch.size", 16384);
		props.put("linger.ms", 1);
		props.put("buffer.memory", 33554432);
		props.put("key.serializer", StringSerializer.class.getName());
		props.put("value.serializer", StringSerializer.class.getName());
		props.put("partitioner.class", HashPartitioner.class.getName());
		props.put("interceptor.classes", EvenProducerInterceptor.class.getName());

		Producer<String, String> producer = new KafkaProducer<String, String>(props);
		Date now = new Date();
		SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy/MM/dd HH:mm:ss");
		String time = dateFormat.format( now );
		System.out.println(time);

		for (int i = 0; i <= 1000000; i++)

			producer.send(new ProducerRecord<String, String>("topic1", Integer.toString(i)+"[------grj------]", Integer.toString(i)+"  [---" +
					"grj1111111111111111111111111111111111111111111111111111111111111111111111111111111111" +
					"0032222222222222222222222222222222222222222222222222222222222222222222222222222222222" +
					"--33333333333333333333333333333333333333333333333333333333333333333333333333333333333" +
					"-444444444444444444444444444444444444444444444444444444444444444444444444444444444444" +
					"55555555555555555555555555555555555555555555555555555555555555555555555555555555555555" +
					"66666666666666666666666666666666666666666666666666666666666666666666666666666666666666" +
					"7777777777777777777777777777777777777777777777777777777777777777777777777777777777777]"));
		producer.close();
		Date now1 = new Date();
		SimpleDateFormat dateFormat1 = new SimpleDateFormat("yyyy/MM/dd HH:mm:ss");
		String time1 = dateFormat.format( now1 );
		System.out.println(time1);
	}

}