Spark streaming + Kafka 实时数据分析大数据项目实战

实时/离线 流式计算框架：Spark Streaming
Spark Streaming 是核心spark API的一个扩展，在处理数据前按时间间隔预先将其切分为一段一段的批处理作业。
Spark 针对持续性数据流的抽象称为DStream，一个DStream是一个批处理的RDD（弹性分布式数据集）；而RDD则是一个分布式数据集，能够以两种方式并行运作，分别是任意函数和滑动窗口数据的转换。
实战一：Receiver – based
1） 启动zookeeper
2） 启动kafka
3） 打jar包前先注释掉setAppName和setMaster

Spark-submit \
--class com.cauc.spark.KafkaReceiverWordCount \
--master local[2] \
--name KafkaReceiverWordCount \
--packages org.apache.spark:spark-streaming-kafka_2.10:1.6.0 \

（将spark程序打成jar包的位置）10.5.45.212:2181 test_group1 test 10

实战二：Direct Approach

Spark-submit \
--class com.lt.spark.KafkaDirectWordCount \
--master local[2] \
--name KafkaDirectWordCount \
--packages org.apache.spark:spark-streaming-kafka_2.11:1.6.0 \

（将spark程序打成jar包的位置）10.5.45.212:2181 test_group1 test 10