Spark
文章平均质量分 72
树立flag
没有梦想,别说你是人
展开
-
TopN
result.sortBy(t => t._2).take(10)cmd演示: val list = List(("zhangsan",20),("lisi",9),("wangwu",33)) list.sortBy(t => t._2).takeRight(1) //表示从右边开始取几条对RDD进行操作: result.sortBy(t => t._2,ascending=f...原创 2018-06-03 20:21:32 · 1173 阅读 · 0 评论 -
Spark应用的结构
Driver + Executor Driver:运行SparkContext上下文的地方(jvm),SparkContext进行初始化的地方(jvm),进行RDD初始化的地方(jvm),Task运行资源申请和RDD job/Task调度的调度 一般我们认为main方法的位置就是driver(main方法是SparkContext的构建) 一个应用只有一个driver Executor: 具体...原创 2018-06-03 20:24:31 · 218 阅读 · 0 评论 -
Spark的资源调优
主要就是通过调整spark应用的相关参数来达到控制spark的cpu、内存,executor的数量等方式来优化 http://spark.apache.org/docs/1.6.1/configuration.html http://spark.apache.org/docs/1.6.1/running-on-yarn.htmlspark-submit脚本的资源参数--master MASTER_...原创 2018-06-03 20:26:23 · 785 阅读 · 0 评论