Spark
李格非
这个作者很懒,什么都没留下…
展开
-
Spark History Server配置使用
1、Spark History Server的作用 在运行Spark应用程序的时候,driver会提供一个webUI用于展现应用程序的运行信息,但是该webUI随着应用程序的完成而关闭端口。也就是说,这个服务是伴随Spark应用程序的运行周期的,也就是当应用程序运行完成后,将无法查看应用程序的历史记录。Spark History Server就是为了应对这种情况而产生的,通过配置,Spar原创 2016-11-22 15:21:02 · 2260 阅读 · 0 评论 -
Spark调优
Spark,Hadoop交流群,群QQ号:521066396,欢迎加入共同学习,一起进步~Spark运行原理四个阶段:1、准备数据集合和生成相应的RDD DAG图,发送给DAGScheduler 2、DAGScheduler在收到数据集的DAG之后,详细的组织该DAG所包含的stage,将这些stage所包含的TaskSet发送给TaskScheduler 3、TaskScheduler收到了T原创 2017-08-08 13:56:01 · 635 阅读 · 0 评论