spark-kafka direct方式读取和receiver方式读取的区别

区别:Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式,可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列,Direct方式是直接连接到kafka的节点上获取数据了。一、基于Receiver的方式这种方式使用Rec...

2017-12-22 09:46:25

阅读数:1043

评论数:0

Spark基础学习一

1、RDD 基本概念:一个RDD就是一个分布式对象集合,本质上是一个只读的分区记录集合,每个RDD可以分成多个分区,每个分区就是一个数据集片段,并且一个RDD的不同分区可以被保存到集群中不同的节点上,从而可以在集群中的不同节点上进行并行计算。RDD提供了一种高度受限的共享内存模型,即RDD是只读...

2017-12-08 11:24:23

阅读数:38

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭