Spark环境搭建(三)

原创 2015年11月21日 11:36:08

6.Spark环境搭建

6.1.Spark的运行模式

local

standalone

mesos

yarn

6.2.Spark的集群搭建

1.安装JDK(建议JDK7以上)

2.安装Scala(建议2.10.4)

3.安装Hadoop2.x(至少HDFS)

Configuration

         hadoop-env.sh

                   exportJAVA_HOME=/opt/modules/jdk1.7.0_67

         core-site.xml

                   <property>               

                            <name>fs.defaultFS</name>

                            <value>hdfs://hadoop-spark.dragon.org:8020</value>

                   </property>

                   <property>

                            <name>hadoop.tmp.dir</name>

                            <value>/opt/data02/hadoop-2.6.0-cdh5.4.0/data/tmp</value>

                   </property>

         hdfs-site.xml

                   <property>               

                            <name>dfs.replication</name>

                            <value>1</value>

                   </property>

         slaves

                   hadoop-spark.dragon.org       

Start HDFS

         NameNodeFormat

                   bin/hdfsnamenode -format             

         StartNN/DN

                   sbin/hadoop-daemon.shstart namenode

                   sbin/hadoop-daemon.shstart datanode

         WEBUI

                   http://hadoop-spark.dragon.org:50070

4.安装Spark 集群

解压spark-bin安装包,要跟hadoop版本匹配

修改spark-env.sh文件

exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_65

#指定standalone模式下master所在的主机

export SPARK_MASTER_IP=weekend01

#指定每一个worker上的可用虚拟core数

export SPARK_WORKER_CORES=2

#指定每一个worker上的可用内存

export SPARK_WORKER_MEMORY=1g

#设置hadoop集群的配置文件所在目录

exportHADOOP_CONF_DIR=/home/hadoop/app/hadooplk/etc/hadoop

修改slaves文件指定worker所在的机器

weekend01

weekend02

weekend03

拷贝整个安装目录到各节点

5.测试Spark集群

scala> valrdd=sc.textFile("hdfs://hadoop-spark.dragon.org:8020/user/hadoop/data/wc.input")

 

scala> rdd.cache()

 

scala> valwordcount=rdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_)

 

scala> wordcount.take(10)

 

scala> valwordsort=wordcount.map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1))

 

scala> wordsort.take(10)

 

6.3.Spark基于zookeeper的HA机制

1.安装zookeeper及配置

1.上传zk安装包

 

2.解压

 

3.配置(先在一台节点上配置)

         3.1添加一个zoo.cfg配置文件

         $ZOOKEEPER/conf

         mvzoo_sample.cfg zoo.cfg

        

         3.2修改配置文件(zoo.cfg)

                   dataDir=/itcast/zookeeper-3.4.5/data

                  

                   server.1=spark01:2888:3888

                   server.2=spark02:2888:3888

                   server.3=spark03:2888:3888

        

         3.3在(dataDir=/linux/zookeeper-3.4.5/data)创建一个myid文件,里面内容是server.N中的N(server.2里面内容为2)

                   echo"1" > myid

        

         3.4将配置好的zk拷贝到其他节点

                   scp-r / linux /zookeeper-3.4.5/ spark02:/ linux /

                   scp-r / linux /zookeeper-3.4.5/spark03:/ linux /

        

         3.5注意:在其他节点上一定要修改myid的内容

                   在spark02应该讲myid的内容改为2 (echo"6" > myid)

                   在spark03应该讲myid的内容改为3 (echo"7" > myid)

                  

4.启动集群

         分别启动zk

                   ./zkServer.shstart

5.检查是否运行正常

       ./zkServer.sh status

 

2.安装spark

1.解压spark-bin安装包,要跟hadoop版本匹配

2.修改spark-env.sh文件

exportJAVA_HOME=/linux/jdk1.7.0_65

#指定每一个worker上的可用虚拟core数

exportSPARK_WORKER_CORES=2

#指定每一个worker上的可用内存

exportSPARK_WORKER_MEMORY=1g

#设置hadoop集群的配置文件所在目录

exportHADOOP_CONF_DIR=/linux/hadooplk/etc/hadoop

 

#ZKHA

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER-Dspark.deploy.zookeeper.url=spark01:2181,spark02:2181,spark03:2181-Dspark.deploy.zookeeper.dir=/spark"

 

3.修改slaves文件指定worker所在的机器

spark01

spark02

spark03

拷贝整个安装目录到各节点

 

4.启动spark集群

[root@spark01spark-1.3.1]# sbin/start-all.sh

[root@spark02spark-1.3.1]# sbin/start-master.sh

[root@spark03spark-1.3.1]# sbin/start-master.sh

./spark-shell  --masterspark://IP:Port

MASTER=spark://ip:post ./spark-shell

Hadoop+Spark+R+SparkR集群环境搭建

  • 2017年11月15日 10:19
  • 230KB
  • 下载

Ubuntu /Spark单机环境搭建

安装与配置因为机器学习平台的需要特意学习了有关spark的相关内容。这一小节主要是记录下在Ubuntu 14.04下搭建Spark单机环境的过程。这个过程主要有四个部分:安装Java 安装Scala ...

spark开发环境搭建

  • 2015年12月09日 11:22
  • 821KB
  • 下载

Idea基于maven,java语言的spark环境搭建

环境介绍:IntelliJ IDEA开发软件,hadoop01-hadoop04的集群(如果不进行spark集群测试可不安装) 准备工作首先在集群中的hdfs中添加a.txt文件,将来需在项目中进行单...
  • huanbia
  • huanbia
  • 2017年04月04日 16:48
  • 901

(3)Spark开发环境搭建

  • 2015年06月10日 11:54
  • 76KB
  • 下载

Spark 开发环境搭建(1)IDEA Gradle的安装部署、使用

Spark 开发环境搭建(1)使用IDEA Gradle的方式1,JAVA环境检查 C:\Windows\System32>java -versionjava version "1.8.0_121"J...

Spark开发及本地环境搭建指南

  • 2016年04月14日 12:46
  • 2.59MB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark环境搭建(三)
举报原因:
原因补充:

(最多只允许输入30个字)