kafka笔记

命令行测试

kafka-topics --zookeeper ip1:2181,ip2:2181,ip3:2181 --list
kafka-console-consumer --bootstrap-server ip1:9092,ip2:9092,ip3:9092 --from-beginning --max-messages 10 --topic mytest
kafka-console-producer --broker-list ip1:9092,ip2:9092,ip3:9092 --topic mytest

kafka的java客户端程序显示明细日志

• 方法1，main方法中加入

BasicConfigurator.configure();

• 方法2，在src下创建source文件夹，右键设置为source root，将log4j.properties放在这里面即可

log4j.rootLogger = debug,stdout
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = method:%l%n%m%n

consumer请求不到数据，程序中配置的是ip，日志中变成了主机别名的形式

java中配置的地址用于向服务器请求数据位置，服务器返回的数据保存地址使用的是安装集群时配置的节点别名，如果运行java客户端的机器上没有在/etc/hosts中配置同样的别名，则无法读取到数据，需要在客户端机器上配置hosts

从起点开始读取数据

props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");