Spark-Streaming

一、Kafka
Kafka命令行的使用
1、创建topic
kafka-topics.sh --create --zookeeper node01:2181,node02:2181,node03:2181 --topic test1 --partitions 3 --replication-factor 3
分区数量，副本数量，都是必须的。 
数据的形式： 
主题名称-分区编号。
在Kafka的数据目录下查看。 
 
设定副本数量，不能大于broker的数量。
 
2、查看所有的topic
kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181 
 
3、查看某个topic的详细信息
kafka-topics.sh --describe --zookeeper node01:2181,node02:2181,node03:2181 --topic test1
ISR: In-Sync Replicas 可以提供服务的副本。
AR = ISR + OSR

 
4、删除topic
kafka-topics.sh --delete --zookeeper node01:2181,node02:2181,node03:2181 --topic test1
 
5、生产数据
kafka-console-producer.sh：
指定broker 
 
指定topic

 
写数据的命令：
kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test1
注意：写数据，实际上就是写log, 追加日志。
可在kafka的/root/kafkadata目录下查看分区中log。
每一条数据，只存在于当前主题的一个分区中，所有的副本中，都有数据。
 
6、消费数据
kafka-console-consumer.sh --topic test1 --bootstrap-server node01:9092,node02:9092,node03:9092
注意： 此命令会从日志文件中的最后的位置开始消费。
如果想从头开始消费： 
 
kafka-console-consumer.sh --topic test1 --bootstrap-server node01:9092,node02:9092,node03:9092 --from-beginning
会从头（earliest）开始读取数据。
读取数据时，分区间的数据是无序的，分区中的数据是有序。
 
如果想指定groupid,可以通过参数来指定： 
 
kafka-console-consumer.sh --topic test1 --bootstrap-server node01:9092,node02:9092,node03:9092 --from-beginning --consumer-property group.id=123
 
一个topic中的数据，只能被一个groupId所属的consumer消费一次。（记录偏移量）
 
二、Spark-Streaming核心编程（二）
DStream创建
1、Kafka数据源：
ReceiverAPI：需要一个专门的 Executor 去接收数据，然后发送给其他的 Executor 做计算。存在的问题，接收数据的 Executor 和计算的 Executor 速度会有所不同，特别在接收数据的 Executor速度大于计算的 Executor 速度，会导致计算数据的节点内存溢出。
早期版本中提供此方式，当前版本不适用。
 
DirectAPI：是由计算的 Executor 来主动消费 Kafka 的数据，速度由自身控制。
 
Kafka 0-10 Direct 模式
1) 需求：通过 SparkStreaming 从 Kafka 读取数据，并将读取过来的数据做简单计算，最终打印到控制台。
2) 导入依赖
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.12</artifactId>
    <version>3.0.0</version>
</dependency>
 
3) 编写代码
4) /**
 * 通过DirectAPI 0-10 消费kafka数据
 * 消费的offset保存在_consumer_offsets主题中
 */
object DirectAPI {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("direct")
 
    val ssc = new StreamingContext(sparkConf,Seconds(3))
 
    //定义kafka相关参数
    val kafkaPara :Map[String,Object] = Map[String,Object](ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG ->"node01:9092,node02:9092,node03:9092",
      ConsumerConfig.GROUP_ID_CONFIG->"kafka",
      "key.deserializer"->"org.apache.kafka.common.serialization.StringDeserializer",
      "value.deserializer" -> "org.apache.kafka.common.serialization.StringDeserializer"
    )
 
    //通过读取kafka数据，创建DStream
    val kafkaDStream:InputDStream[ConsumerRecord[String,String]] = KafkaUtils.createDirectStream[String,String](
      ssc,LocationStrategies.PreferConsistent,
      ConsumerStrategies.Subscribe[String,String](Set("kafka"),kafkaPara)
    )
 
    //提取出数据中的value部分
    val valueDStream :DStream[String] = kafkaDStream.map(record=>record.value())
 
    //wordCount计算逻辑
    valueDStream.flatMap(_.split(" "))
      .map((_,1))
      .reduceByKey(_+_)
      .print()
 
    ssc.start()
    ssc.awaitTermination()
 
5) 开启Kafka集群 
6）开启Kafka生产者，产生数据
kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic kafka 
7）运行程序，接收Kafka生产的数据并进行相应处理 
8）查看消费进度
kafka-consumer-groups.sh --describe --bootstrap-server node01:9092,node02:9092,node03:9092 --group kafka