Spark
xtdgkh
这个作者很懒,什么都没留下…
展开
-
Spark的学习1-编译
这两天开始学Spark, 因此把相应的步骤记录下来.下载最新的Spark代码,使用maven进行编译在win8(64位)上进行编译:(参考https://spark.apache.org/docs/latest/building-with-maven.html)现在Spark主要以Standalone方式或Spark on yarn方式运行,因此在使用maven构建时,使用以下...原创 2014-10-13 23:40:52 · 350 阅读 · 0 评论 -
Spark的学习2-IDE
当使用Maven构建好项目后,现在要开始学习Spark的设计及具体实现,就是源码了。 在Google上查到的比较多的IDE就是Scala + Eclipse , Scala + NetBeans和Scala + IntelliJ Idea. 因为以前一直使用的Eclipse,所以Scala + Eclipse当然是优选了。下了一个ScalaIDE,它的Eclipse的Sc...原创 2014-10-15 09:36:19 · 129 阅读 · 0 评论 -
Spark学习-3 运行一个example
开始学习Spark了,先看看Spark能做点什么吧。最好的方式就是先运行个例子程序。先从Spark网站下载一个运行环境(我的运行环境是Win7, 64bits) 。我们在官方网站: http://spark.apache.org/downloads.html下载一个版本:我选 Spark 1.0 + Prebuild for Hadoop 2.3, Link为 http:/...原创 2014-10-15 11:10:28 · 751 阅读 · 0 评论 -
Spark学习-关于云平台的一个问题
这几天接触了 OpenStack和Docker - 一个是比较成熟的云平台,另外是一个发展中的,增长很迅速的新云平台,其中的一个问题又引发我的深思。问题: 云平台与大数据平台Hadoop怎么进行融合?先说一下云平台的几个概念:计算(Compute),存储(Storage),网络(Network).关于存储,在云上的管理一大部分是共享存储,如磁盘阵列什么的。当然也可以是由很多...原创 2014-10-26 11:22:50 · 265 阅读 · 0 评论 -
Spark学习-关于Spark的开发语言Scala
说到Spark,我一定要先说说Hadoop及Java.现在我是一个Java开发者,几年前就开始接触和使用Hadoop. 最初的一个项目其实是一个后台并行计算的项目,那时经过选型后,最后决定使用Hadoop,当时是基于几个原因:1. Apache下的项目质量都是很高的,很多项目都广为Java开发者使用,到今天来看,这个结论也不为过,如(Ant, ActiveMQ, Axis2,CXF,C...原创 2014-10-26 12:10:33 · 749 阅读 · 0 评论