Kafak --- Consume
package com.ws.kafka
import java.util
import java.util.Properties
import org.apache.kafka.clients.consumer.{ConsumerRecords, KafkaConsumer}
import org.apache.kafka.common.serialization.StringDeserializer
object KConsumer {
def main(args: Array[String]): Unit = {
val prop = new Properties()
// 指定kafka的server地址
prop.setProperty("bootstrap.servers","dream1:9092,dream2:9092,dream3:9092")
// 设置反序列化组件 一下两种方式都可以
prop.setProperty("key.deserializer",classOf[StringDeserializer].getName)
prop.setProperty("value.deserializer","org.apache.kafka.common.serialization.StringDeserializer")
// 指定该消费者所在的消费者组
prop.setProperty("group.id","1")
// 指定消费者从哪开始消费[latest,earliest]
// earliest 从头开始消费,--from beginnig
// latestb 从该消费者启动之后开始消费
prop.setProperty("auto.offset.reset","earliest")
// 是否自动提交偏移量,默认是true,就是每消费一条数据后,就向kafka报告当前消费的偏移量,来控制消费果的数据不再重复消费
// 我们一般设置为false,自己手动更新偏移量
prop.setProperty("enable.auto.commit","true")
//-------------------以上是消费者的配置代码-------------------------------
// 创建一个消费者
val kafkaConsumer = new KafkaConsumer[String, String](prop)
// 指定要订阅的topic
val topic: util.List[String] = util.Arrays.asList("test")
kafkaConsumer.subscribe(topic)
// 监听数据产生,并拉取数据
import scala.collection.JavaConversions._
while (true) {
// 超过2000就放弃
val msg: ConsumerRecords[String, String] = kafkaConsumer.poll(2000)
msg.foreach(ms=>println(ms))
}
}
}