第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本)

第114课:Spark Streaming电商广告点击综合案例实战(测试版本)

 

第114课加强版:SparkStreaming+Kafka+createDirectStream+KafkaOffsetMonitor解决内幕

 http://blog.csdn.net/duan_zhihua/article/details/52006054

 

整体架构

 补充更正：

使用KafkaUtils.createDirectStream创建Spark Streaming输入数据来源input Stream，No receivers方式，没有使用zookeeper去存储offsets。

 

 /**
   * Create an input stream that directly pulls messages from Kafka Brokers
   * without using any receiver. This stream can guarantee that each message
   * from Kafka is included in transformations exactly once (see points below).
   *