SparkLocal模式安装

翻译 2017年01月03日 16:47:57

实验目的

1、了解Spark Local本地模式安装

2、了解Spark Local模式运行原理

实验环境

1、Linux Ubuntu 14.04

2、jdk1.7

3、scala-2.10.4.tgz安装包

4、spark-1.6.0-bin-hadoop2.6.tgz安装包

实验内容

Spark本地模式,是最简单的安装模式。

spark的存储依赖linux本地文件系统,而非Hadoop的HDFS。所以在这里不需要配置Hadoop。

实验步骤

1、Spark的运行依赖jdk以及scala环境。在此已默认安装jdk1.7。

2、上传所需的Spark的安装包spark-1.6.0-bin-hadoop2.6.tgz及scala安装包Scala2.10.4.tgz,到/apps/toolbox目录下。 此处建议使用scala-2.10.4版本。官网中指出,若使用scala2.11,则需要重新编译spark,并且编译时,需要指定scala版本的类型。 关于spark版本,没有严格要求。所以我们使用spark1.6版本。

3、安装Scala。切换目录到/apps/toolbox目录下,将/apps/toolbox目录下scala-2.10.4.tgz,解压缩到/apps目录下。并将解压后的目录名改为/apps/scala

  1. cd /apps/toolbox/  
  1. tar -xzvf /apps/toolbox/scala-2.10.4.tgz -C /apps/  
  1. cd /apps  
  1. mv /apps/scala-2.10.4/ /apps/scala  

使用vim打开用户环境变量~/.bashrc

  1. vim ~/.bashrc  

将scala的环境变量,追加的用户环境变量中。

  1. export SCALA_HOME=/apps/scala  
  2. export PATH=$SCALA_HOME/bin:$PATH  

执行source命令,使系统环境变量生效。

  1. source ~/.bashrc  

4、切换目录到/apps/toolbox目录下,将spark的安装包spark-1.6.0-bin-hadoop2.6.tgz,解压缩到/apps目录下,并将解压后的目录名,重命名为spark

  1. cd /apps/toolbox  
  1. tar -xzvf /apps/toolbox/spark-1.6.0-bin-hadoop2.6.tgz -C /apps/  
  1. cd /apps/  
  1. mv /apps/spark-1.6.0-bin-hadoop2.6/ /apps/spark  

使用vim打开用户环境变量~/.bashrc

  1. vim ~/.bashrc  

将Spark的配置信息追加到用户环境变量中。

  1. #spark  
  2. export SPARK_HOME=/apps/spark  
  3. export PATH=$SPARK_HOME/bin:$PATH  

执行source命令,使用户环境变量生效。

  1. source ~/.bashrc  

5、下面不需要对spark进行任何配置,就可以启动spark-shell进行任务处理了。

切换目录到/apps/spark/bin目录下,使用spark shell客户端,访问服务端,验证安装完的spark是否可用。

执行

  1. spark-shell  

或执行

  1. spark-shell local  

可以启动本地模式

  1. zhangyu@0ed3f46ad512:/apps/spark$ spark-shell  
  2. log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).  
  3. log4j:WARN Please initialize the log4j system properly.  
  4. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.  
  5. Using Spark's repl log4j profile: org/apache/spark/log4j-defaults-repl.properties  
  6. To adjust logging level use sc.setLogLevel("INFO")  
  7. Welcome to  
  8.       ____              __  
  9.      / __/__  ___ _____/ /__  
  10.     _\ \/ _ \/ _ `/ __/  '_/  
  11.    /___/ .__/\_,_/_/ /_/\_\   version 1.6.0  
  12.       /_/  
  13.   
  14. Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_75)  
  15. Type in expressions to have them evaluated.  
  16. Type :help for more information.  
  17. Spark context available as sc.  
  18. 16/12/06 06:20:08 WARN Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)  
  19. 16/12/06 06:20:08 WARN Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)  
  20. 16/12/06 06:20:27 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0  
  21. 16/12/06 06:20:27 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException  
  22. 16/12/06 06:20:31 WARN Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)  
  23. 16/12/06 06:20:31 WARN Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)  
  24. 16/12/06 06:20:49 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0  
  25. 16/12/06 06:20:50 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException  
  26. SQL context available as sqlContext.  
  27.   
  28. scala>  

6、执行测试,在spark shell中,使用scala执行个例子

  1. val rdd = sc.textFile("/apps/spark/README.md");  

统计文件的行数

  1. rdd.count();  

可用看到输出为

  1. res3: Long = 4  

表明安装正确。

完整效果为:

  1. scala> val rdd = sc.textFile("/apps/spark/README.md");  
  2. rdd: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[1] at textFile at <console>:27  
  3. scala> rdd.count  
  4. res0: Long = 95  
  5.  scala>  

相关文章推荐

3.60版本psv用psp模式开启安装包

  • 2017年03月31日 19:38
  • 34.84MB
  • 下载

centos6 伪分布式模式安装hadoop

一、配置centos的内存为2g。网络连接方式为桥接。 进入centos后,配置网络连接,查看本机的ip为 打开centos中网络链接。配置ipv4。 然后重启网卡。命令servic...

DOS安装,用于DOS模式

  • 2014年06月02日 16:06
  • 1.46MB
  • 下载

ubuntu软件安装模式

  • 2012年10月30日 19:45
  • 180KB
  • 下载

hadoop2.5.1单机模式简易安装教程

必要安装: JDK1.7(JDK1.6.0_20以下的话会有问题,JDK1.6.0_20以上也行) SSH client和service(hadoop通过脚本连接ssh管理远程节点) 免...
  • tinico
  • tinico
  • 2014年11月24日 09:50
  • 4387

oracle11gRAC模式安装详细步骤

  • 2017年07月26日 17:52
  • 3.75MB
  • 下载

Linux 服务器命令模式的基本安装

  • 2008年03月11日 16:00
  • 784KB
  • 下载

【node.js】本地模式安装express:'express' 不是内部或外部命令,也不是可运行的程序或批处理文件。

今天闲来无事想起了node.js,因此到网上下载了一个node.js的安装程序进行安装。...
  • MCpang
  • MCpang
  • 2014年05月22日 18:19
  • 28089
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:SparkLocal模式安装
举报原因:
原因补充:

(最多只允许输入30个字)