Spark
猫不夜行
静水流深,物我两忘
展开
-
Spark架构角色及基本运行流程
1. 集群角色Application:基于spark的用户程序,包含了一个Driver program 和集群中多个Executor Driver Program:运行application的main()函数并自动创建SparkContext。Driver program通过一个SparkContext对象来访问Spark,通常用SparkContext代表Driver。 Spark...原创 2019-08-24 17:03:00 · 212 阅读 · 0 评论 -
Spark中的术语图解总结
参考:http://www.raincent.com/content-85-11052-1.html1、Application:Spark应用程序指的是用户编写的Spark应用程序,包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。Spark应用程序,由一个或多个作业JOB组成,如下图所示:2、Driver:驱动程序Driver负责运行Appl...原创 2019-08-24 18:49:00 · 242 阅读 · 0 评论 -
Windows本地运行调试Spark或Hadoop程序失败ERROR util.Shell: Failed to locate the winutils binary in the hadoop...
报错内容ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.解决方法1. 下载wind...原创 2019-11-19 10:26:00 · 359 阅读 · 0 评论