SPARK
qbyjxg001
这个作者很懒,什么都没留下…
展开
-
构建Spark集群
第一步:Spark集群需要的软件; 在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群,我们这里采用2014年5月30日发布的Spark 1.0.0版本,也就是Spark的最新版本,要想基于Spark 1.0.0构建Spark集群,需要的软件如下: 1.Spark 1.0.0,笔者这里使用的是spark-1.0.0-bin-hadoop1.tgz, 具体转载 2014-11-23 10:39:24 · 800 阅读 · 0 评论 -
通过Spark的shell测试Spark的工作
Step1:启动Spark集群,这一点在第三讲讲的极为细致,启动后的WebUI如下: Step2:启动Spark Shell: 此时可以通过如下Web控制台查看shell的情况: Step3:把Spark安装目录“README.md”拷贝到HDFS系统上 在Master节点上新启动一个命令终端,并进入到Spark安装目录下: 我们把文件转载 2014-11-23 10:41:53 · 804 阅读 · 0 评论