- 博客(2)
- 资源 (3)
- 收藏
- 关注
原创 spark windows 下在idea中 作driver 调试 spark问题(spark本地代码集群运行问题)
spark windows 下在idea中 作driver 调试 spark(spark本地代码集群运行问题) 18/03/15 19:35:48 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkExecutor@node1:38126] has failed, address...
2018-03-15 19:56:13 1057
原创 sparkDag源码分析--生成
sparkDag源码分析–生成Dag生成 dag主要是通过rdd的各种转换生成,如下面rdd的map方法,会生成一个新的Rdd //返回一个新的rdd,通过应用一个函数到Rdd的所有元素 def map[U: ClassTag](f: T => U): RDD[U] = { val cleanF = sc.clean(f) new MapPar...
2018-03-14 19:55:32 562
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人