Spark 1.6.1 单机安装配置

1452人阅读 评论(2) 收藏 举报
分类:

本文将介绍Apache Spark 1.6.1在单机的部署,与在集群中部署的步骤基本一致,只是少了一些master和slave文件的配置。


1Spark的安装准备

Spark官网的文档 http://spark.apache.org/docs/latest/ 里是这样说的:

Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.1 usesScala 2.10. You will need to use a compatible Scala version (2.10.x).

   我的电脑环境是CentOS6.5,还需要安装:

下载spark

点击打开链接    http://spark.apache.org/downloads.html

解压文件 tar -xzvf spark-1.6.1-bin-hadoop2.6.tgz

备注:我选择的是基于hadoop2.6的spark1.6.1的编译版本


2.安装jdk

cd /usr/app
$ tar -xzvf jdk-7u79-linux-x64.tar.gz
$ sudo vim /etc/profile

编辑/etc/profile文件,在最后加上java环境变量:

export JAVA_HOME=/usr/app/jdk1.7
export JRE_HOME=/usr/app/jdk1.7/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

保存并更新 /etc/profile 
$ source /etc/profile

查看是否成功:

$ java -version

3.配置ssh localhost

确保安装好ssh:

$ sudo apt-get update
$ sudo apt-get install openssh-server
$ sudo /etc/init.d/ssh start
生成并添加密钥:

$ ssh-keygen -t rsa
$ cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
$ chmod 777 /root/.ssh/authorized_keys

如果已经生成过密钥,只需执行后两行命令。测试ssh localhost
$ ssh localhost
$ exit

4.安装hadoop2.6.0

解压hadoop2.6.0到任意目录:

$ cd /usr/app
$ wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
$ tar -xzvf hadoop-2.6.0.tar.gz

编辑 /etc/profile 文件,在最后加上java环境变量:
export HADOOP_HOME=/usr/app/hadoop-2.6.0
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 文件
$ vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在最后加上:
export JAVA_HOME=/usr/app/jdk1.7
修改Configuration文件:
$ cd $HADOOP_HOME/etc/hadoop

修改 core-site.xml 

注意:hdfs://为你的主机名或者IP:9000


<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hostname or ip:9000</value>
</property>
</configuration>
修改 hdfs-site.xml 
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoopdata/hdfs/namenode</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

第一个是dfs的备份数目,单机用1份就行,后面两个是namenode和datanode的目录。

修改 mapred-site.xml 

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改 yarn-site.xml 

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>
初始化hadoop:
$ hdfs namenode -format



启动

$ $HADOOP_HOME/sbin/start-all.sh
停止
$ $HADOOP_HOME/sbin/stop-all.sh

检查WebUI,浏览器打开端口: http://localhost :8088

  • port 8088: cluster and all applications

  • port 50070: Hadoop NameNode

  • port 50090: Secondary NameNode

  • port 50075: DataNode

hadoop运行后可使用 jps 命令查看,得到结果:

[root@hadoop14 app]# jps
  3558 NodeManager
  2907 SecondaryNameNode
  3228 DataNode
  3471 ResourceManager
  5061 Jps
  2737 NameNode

5.安装scala

解压scala安装包到任意目录:

  $ cd /usr/app
  $ tar -xzvf scala-2.10.4.tgz
  $ sudo vim /etc/profile
 /etc/profile 文件的末尾添加环境变量:


  export SCALA_HOME=/usr/app/scala-2.10.4
  export PATH=$SCALA_HOME/bin:$PATH
保存并更新 /etc/profile 

 $ source /etc/profile
查看是否成功:
 $ scala -version

6.安装Spark

解压spark安装包到任意目录:

  $ cd /usr/app
  $ tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz
  $ mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0
  $ sudo vim /etc/profile
 /etc/profile 文件的末尾添加环境变量:

  export SPARK_HOME=/usr/app/spark-1.6.0
  export PATH=$SPARK_HOME/bin:$PATH
保存并更新 /etc/profile 
  $ source /etc/profile
在conf目录下复制并重命名 spark-env.sh.template  spark-env.sh 
  $ cp spark-env.sh.template spark-env.sh
  $ vim spark-env.sh

 spark-env.sh 中添加:

注意SPARK_MASTER_IP为你的主名或者ip

  export JAVA_HOME=/usr/app/jdk1.7
  export SCALA_HOME=/usr/app/scala-2.10.4
  export SPARK_MASTER_IP=hostname or ip</span>
  export SPARK_WORKER_MEMORY=4G
启动

$ $SPARK_HOME/sbin/start-all.sh
停止
$ $SPARK_HOME/sbin/stop-all.sh
测试Spark是否安装成功:

$ $SPARK_HOME/bin/run-example SparkPi
得到结果:
Pi is roughly 3.14716
检查WebUI,浏览器打开端口: http://localhost :8080


2
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人简介

    姓名:余辉

    学历:硕士

    QQ :348835027

    微信:silentwolfyh


    地点:北京昌平

    我的新书9月预售【点击图片】
    个人资料
    • 访问:279202次
    • 积分:5651
    • 等级:
    • 排名:第4617名
    • 原创:273篇
    • 转载:23篇
    • 译文:24篇
    • 评论:46条
    【友情推荐】章鱼大数据