![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
不再简简单单
这个作者很懒,什么都没留下…
展开
-
spark job调度
整个程序sparkContext调度的 DAGScheduler DAG调度 DAG:有向无环图 每个job划分为多个stage(阶段) (a)倒推法划分 -栈 从Job的最后一个RDD向前推依赖关系 (b)判定子RDD和父RDD之间的依赖关系 宽...原创 2019-08-04 21:16:36 · 186 阅读 · 0 评论 -
spark学习day(一)
spark的介绍spark框架是如何处理数据的Hadoop MapReduce框架 并行计算的思想、 分而治之的思想scala集合高阶函数 处理数据的思想 将 要分析的数据放到集合中去,然后调用集合的高阶函数处理数据spark是什么...原创 2019-08-01 22:36:32 · 152 阅读 · 0 评论 -
SparkStreaming集成Kafka spark接收kafka数据的方式
SparkStreaming集成Kafka sparkStreaming从Kafka读取数据的2种方式 文档:http://spark.apache.org/docs/2.2.0/streaming-kafka-0-8-integration.html方式一:Receiver-based Approach 此方法使用Receiver接收数...原创 2019-08-11 21:07:33 · 296 阅读 · 0 评论