structed streaming和spark streaming小细节

spark streaming导入的依赖为:

<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
	<version>${spark.version}</version>
</dependency>

而structed streaming导入的依赖不同:

<dependency>
    	<groupId>org.apache.spark</groupId>
    	<artifactId>spark-sql-kafka-0-10_2.11</artifactId>
    	<version>${spark.version}</version>
</dependency>

导致的报错:

java.lang.ClassNotFoundException: Failed to find data source: kafka. Please find packages at http://spark.apache.org/third-party-projects.html
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Structured StreamingSpark 2.0引入的一种流式处理引擎,它是建立在Spark SQL引擎之上的。Structured Streaming提供了一种以流式的方式对数据进行处理和分析的方法,它能够将流式数据转换成连续的数据流,并且提供了和Spark SQL相似的编程接口。Structured Streaming具有和Spark SQL一样的优势,比如强大的优化能力和丰富的数据源支持,同时还支持流式数据处理的特性,比如低延迟、高吞吐量和容错性。 Spark SQL是一种用于处理结构化数据的Spark模块,它提供了一种类似于SQL的编程接口,使得用户可以像处理关系型数据库一样处理Spark中的数据。Spark SQL支持从Hive、JSON、Parquet、JDBC等数据源中读取数据,并提供了对数据的查询、过滤、聚合等操作。 Spark StreamingSpark生态系统中的另一个模块,它是专门用于处理实时数据的流式处理引擎。Spark Streaming支持将实时数据流转换成一系列的离散化的RDD,并提供了一系列的DStream操作,包括map、reduce、join等操作。Spark Streaming支持从Kafka、Flume、Twitter、HDFS等数据源中读取数据,并提供了容错性、可伸缩性等特性。 因此,Structured StreamingSpark SQL、Spark Streaming都属于Spark生态系统中不同的组件,Structured Streaming建立在Spark SQL引擎之上,具有和Spark SQL相似的编程接口,同时支持流式数据处理的特性;而Spark Streaming则是专门用于处理实时数据的流式处理引擎,提供了一系列的DStream操作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值