Spark Structured Streaming、Kafak整合

Structured Streaming

SBT 依赖包:

groupId = org.apache.spark
artifactId = spark-sql-kafka-0-10_2.11
version = 2.1.1

在Spark2.x中,Spark Streaming获得了比较全面的升级,称为Structured Streaming,和之前的很不同,功能更强大,效率更高,跟其他的组件整合性也更好。

Spark 2.X提出了continuous application(连续的应用程序)的概念,非常重大。

首先,也是最重要的,在2.x中,提出了一个叫做continuous applications连续应用程序的概念。
如下图所示,数据从Kafka中流进来,通过ETL操作进行数据清洗,清洗出来作为目标数据进行进一步处理,可能是机器学习,也可能是交互式查询,也有可能直接把数据存在数据库或者其他外部存储设备,也有可能是直接交给已有的应用程序。也就是说SparkStreaming从获得数据后,能把全部处理环节串联起来,称之为端到端(End to end)处理!!!
这里写图片描述

#
http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html

groupId = org.apache.spark
artifactId = spark-sql-kafka-0-10_2.11
version = 2.1.1

http://blog.csdn.net/javastart/article/details/50942397

未完成待续

參考文献:
【1】http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html 官网简单介绍
【2】http://www.cnblogs.com/dt-zhw/p/5597353.html Spark定制班第29课:深入理解Spark 2.x中的Structured Streaming内幕
【3】https://www.iteblog.com/archives/1322.html 实际较详细的例子
【4】https://github.com/ansrivas/spark-structured-streaming/blob/master/src/main/scala/com/kafkaToSparkToCass/Main.scala
代码参考

©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页