spark
文章平均质量分 61
cocoder
这个作者很懒,什么都没留下…
展开
-
Spark的核心概念
spark的一些核心概念Application 构建在spark上的应用程序,由driver program 和集群上的executor组成。是SparkContext的实例。每一个Application都运行在一组独立的Executor进程上。Application jar 包含spark应用程序的jar。有时候用户需要创建一个包含其应用程序和其依赖的jar。该jar不包含翻译 2015-01-17 13:46:27 · 743 阅读 · 0 评论 -
spark集群安装部署(spark on yarn)
spark集群安装部署(spark on yarn)1.前提已经部署了Hadoop 2.2集群2.下载并安装scala2.1下载scalahttp://www.scala-lang.org/download/2.2安装scalamkdir -p /usr/local/myspark/scalacd /opttar原创 2015-01-17 17:35:03 · 776 阅读 · 0 评论 -
spark应用程序开发
应用程序开发1.将spark的jar加入到项目的lib中,并加入到项目的classpath中依赖spark-core org.apache.spark spark-core_2.10 1.0.2如果操作hdfs的话,还依赖hdfs org.apache.hadoop hadoop-原创 2015-01-17 14:04:50 · 773 阅读 · 0 评论 -
Spark架构图
Spark架构图翻译 2015-01-17 13:49:00 · 1050 阅读 · 0 评论