spark
空城v1
这个作者很懒,什么都没留下…
展开
-
spark参数调优
摘要 1.num-executors 2.executor-memory 3.executor-cores 4.driver-memory 5.spark.default.parallelism 6.spark.storage.memoryFraction 7.spark.shuffle.memoryFraction 8.total-executor转载 2017-10-17 11:19:28 · 284 阅读 · 0 评论 -
Java 1.8 的spark中语法
在Java1.7及以下版本中,Java的spark语法非常复杂,往往scala一行可以解决的问题,Java往往需要写成十行,在Java1.8中这种情况得到改善,废话不多说。 JavaRDD parallelize = sc.textFile(" "); //FlatMap Java1.7 example: JavaRDD flatMap=paralle原创 2017-10-17 10:53:58 · 644 阅读 · 0 评论