spark
jerry602
这个作者很懒,什么都没留下…
展开
-
方便调试spark参数的python脚本
# encoding:utf-8 __author__ = 'jwang' import os cmd_list = [] spark_submit = '/usr/local/datacenter/spark/bin/spark-submit' cmd_list.append(spark_submit) cmd_list.append('--class') cm原创 2016-01-26 17:29:53 · 1115 阅读 · 0 评论 -
spark种的名词解释
1.Application Appliction的概念和hadoop MR中的有些相似,都是指用户编写的Spark应用程序,其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。 2.Driver 使用Driver这一个概念的分布式框架很多,比如hive等,Spark中的Driver即运行上述Application的main函数并创建SparkCo转载 2016-04-21 07:31:59 · 1259 阅读 · 0 评论