spark
tethys0221
这个作者很懒,什么都没留下…
展开
-
Ubuntu下spark开发(Local模式)
Ubuntu下spark开发(Local模式)1、下载scala、spark、jdk并解压至/opt/路径下 scala下载地址: http://www.scala-lang.org/ 解压路径:/opt/scala spark下载地址:http://spark.apache.org/downloads.html 解压路径:/opt/spark-hadoop jdk下载地址:ht原创 2017-03-06 09:05:08 · 579 阅读 · 0 评论 -
Intelli Idea下 一个Spark的小例子
使用的是Ubuntu16.04 1、下载Intelli Idea的Community版本,并解压放到/opt/路径下,这里下载的为2016.3.5版本 http://www.jetbrains.com/idea/download/#section=windows2、打开终端,进入解压后的idea目录,运行bin下idea.shcd /opt/idea bin/idea.sh3、点击右下角原创 2017-03-08 10:13:34 · 1121 阅读 · 0 评论 -
Spark基本概念
1、基本架构 spark程序由Driver Program和Executor Program组成。Driver Program由SparkContext构建,提供应用程序的运行环境。而Executor Program是应用程序的主体部分,在各个节点运行。2、基本概念 2.1 - Application:指的是用户编写的Spark应用程序,包含了含有一个Driver Program和分布在集原创 2017-03-09 17:06:25 · 332 阅读 · 0 评论 -
windows下 eclipse for scala+spark+mongodb
新建scala项目,只要把spark和mongodb的jar包导入项目即可 spark下载地址 http://spark.apache.org/downloads.htmlmongodb spark connetor下载地址 https://www.javadoc.io/doc/org.mongodb.spark/mongo-spark-connector_2.11/2.0.0右键项目,Bui原创 2017-03-21 18:52:06 · 505 阅读 · 0 评论