![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
我的天儿啊
好好运动 好好学习 好好玩 好好吃 好好休息
展开
-
RDD笔记~repartition函数和coalesce函数
RDD分区重新划分可调用repartition(numPartitions: Int)和coalesce(numPartitions: Int, shuffle: Boolean=false)两种函数进行设置,repartition内部调用coalesce,默认shuffle为true,coalesce的shuffle默认为false.先附上RDD窄依赖和宽依赖图分区重新划分有三种情况...原创 2019-01-11 15:13:08 · 693 阅读 · 0 评论 -
SparkStreaming 编程指导
#概述spark streaming是spark core API的扩展,它支持可伸缩、高吞吐量、容错的实时数据流处理。数据可以从多种来源(如Kafka、Flume、Kinesis或TCP套接字)中摄取,并且可以使用复杂的算法来处理,这些算法有高级函数表示,如map、reduce、join和window。最后,可以将处理过的数据推送到文件系统、数据库和活动仪表板。实际上,你可以在流上应用Spar...原创 2019-01-22 09:32:51 · 584 阅读 · 0 评论 -
Spark SQL, DataFrames and Datasets 指导
概述Spark SQL是一个用于结构化数据处理的Spark模块。与基本的Spark RDD API不同,Spark SQL的接口提供了更多关于数据结构和正在执行的计算信息。在内部,Spark SQL使用这些额外的信息来执行额外的优化。有几种与Spark SQL交互的方法,包括SQL和DataSet API。在计算结果时,使用相同的执行引擎,而不依赖用于表示计算的API/语言。这种统一意味着开发人...原创 2019-01-22 15:02:45 · 392 阅读 · 0 评论