spark
文章平均质量分 71
qq68438
这个作者很懒,什么都没留下…
展开
-
spark RDD 五大特性
1、有一个分片列表,能够被切分,就是和Hadoop一样,能被切分的数据才能并行操作。 2、有一个函数计算每一个分片,compute函数。 3、对其他的RDD的依赖列表,依赖又分为宽依赖和窄依赖,但不是所有的RDD都有依赖。 4、可选,key-value型的RDD是根据哈希来分区的,类似于mapreduce的Paritioner接口,控制key分原创 2017-08-03 19:56:06 · 2385 阅读 · 0 评论 -
spark-streaming-kafka-0-8版本 的java连接ZK例子
最近在研究sparkstreaming连接ZK使用的方法,0-8版本能连接ZK存储偏移量,但0-10版本貌似不能连接ZK来存储偏移量。 继续踩坑。。。 package Spark.SparkStreaming; import java.io.Serializable; import java.util.HashMap; import java.util.Map; import o原创 2017-08-27 17:10:03 · 817 阅读 · 0 评论