本文将详细介绍Spark集群的搭建及Spark的运行原理、运行模式。
—▼—
Spark集群环境搭建
![03348ffbaf757fc91c35f57769ebc792.png](https://i-blog.csdnimg.cn/blog_migrate/483869d8683835df3ad0a53766fc7df1.jpeg)
如果已经理解了前文Hadoop集群环境的搭建,那么学习Spark集群环境的搭建会容易很多,因为Hadoop和Spark不仅安装包目录结构非常相似,在配置方面也十分接近。均是在master节点上进行所有配置,然后打包复制到每个slave节点,然后启动集群Spark即可,下面就来详细介绍一下Spark集群环境的搭建。
下载安装
![5153f8e1a3a7f7214505a68027886035.png](https://i-blog.csdnimg.cn/blog_migrate/0764557159fb9a85558260ff12b3c024.jpeg)
进入Spark的下载目录,
https://spark.apache.org/downloads.html
可以看到Spark分多个版本,有基于Hadoop构建好的,有没基于Hadoop构建的,有基于Hadoop2.6之前版本构建的,也有基于Hadoop2.7以后版本构建的,由于前面讲解Hadoop集群环境搭建时采用的是Hadoop 3.2.1,因此,而且本文需要使用HDFS依赖Hadoop,因此需要下载Pre-built for Apache Hadoop 2.7 and later,
把spark-2.4.4-bin-hadoop2.7.tgz文件下载到home路径下,然后解压到指定目录,
$ tar -zxvf ~/spark-2.4.4-bin-hadoop2.7.tgz -C /usr/local/
然后进入目录并像Hadoop那样,修改Spark目录的拥有者,
$ cd /usr/local$ sudo mv ./spark-2.4.4-bin-hadoop2.7 ./spark$ sudo chowm -R user_name ./spark
配置环境变量
修改bashrc,配置环境变量,把Spark的bin和sbin路径加入到环境变量,
$ vim ~/.bashrcexport SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbinexport PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:$PYTHONPATHexport PYSPARK_PYTHON=python3
Master节点配置
进入Spark目录,修改spark-env.sh文件,
$ cd /usr/local/spark$ vim ./conf/spark-env.sh
在spark-env.sh中添加下面内容,
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoopexport SPARK_MASTER_IP=10.110.113.132
SPARK_MASTER_IP指定的是master节点的IP,后面启动集群Spark时slave节点会注册到SPARK_MASTER_IP,如果这一项不配置,Spark集群则没有可使用资源,
修改slaves文件
配置完master节点信息之后需要配置slave节点信息,slave节点的信息配置在slaves文件里,由于Spark目录下没有这个文件,因此需要首先从slaves.template拷贝一下,
$ cd /usr/local/spark/$ cp ./conf/slaves.template ./conf/slaves
然后添加如下内容,
slave0slave0slave1
需要注意的是,slaves文件里配置的是运行作业任务的节点(worker),这样的话master的节点只作为控制节点,而不作为工作节点,如果需要把master节点的资源也充分利用起来,需要把master节点也加入到slaves文件中。
slave节点配置
首先在master节点上把配制好的目录进行打包,拷贝到每个slave节点上,
$ cd /usr/local$ tar -zcf ~/spar.tar.gz ./spark$ scp ~/spark/tar.gz slave0:~/$ scp ~/spark/tar.gz slave1:~/$ scp ~/spark/tar.gz slave2:~/
然后在每个slave节点上执行下方命令,把文件解压到相应路径下,
$ sudo rm -rf /usr/local/spark$ sudo tar -zxvf ~/spark.tar.gz -C /usr/local$ sudo chown -R user_name /usr/local/spark
这样就完成了slave节点的配置。
启动Spark集群
如果要使用HDFS的话,在启动Spark集群前需要先启动Hadoop集群,
$ cd /usr/local/hadoop/$ ./sbin/start-all.sh
然后进入Spark目录,启动Spark集群,
$ cd /usr/local/spark$ ./sbin/start-all.sh
需要说明一下,前面配置Hadoop集群是提到,需要配置ssh免密登陆,对于Spark也是同样的道理,如果不配置ssh免密登陆的话,执行./sbin/start-all.sh会提示输入密码。
除了使用./sbin/start-all.sh启动Spark集群外,还可以分开启动,先启动master节点,然后启动slave节点,
$ ./sbin/start-master.sh$ ./sbin/start-slaves.sh
如果前面没有完成Master节点配置指定master节点IP,那么执行./sbin/start-slaves.sh时则无法注册master节点的IP,这样集群计算资源则无法使用。除了配置spark-env.sh指定master节点IP外,还可以通过下面方式指定注册的master节点IP,
$ ./sbin/start-slave.sh 10.110.113.132
然后分别在master节点和slave节点执行下面命令会看到分别多出一个Master进程和Worker进程。
Spark基本使用
运行原理
如果使用过tensorflow的话,应该对Spark的使用很容易理解,Spark的计算过程和tensorflow有相似之处。
回忆一下,我们在使用tensorflow时需要首先构造一个计算图,然后实例化一个session,然后用session.run来启动图运算。
其实Spark也是这样,RDD(弹性分布式数据集)是Spark中最重要的概念之一,它提供了一个共享内存模型。Saprk的执行过程中主要包括两个动作:转换与行动。其中转换操作就如同tensorflow中的构造计算图的过程,在这个过程中Spark构造一个有向无环图(DAG),但是不进行运算,输入为RDD输出则是一个不同的RDD,当执行行动操作时就如同tensorflow中的session.run,开始执行运算。
Spark中有很多转换操作,例如,
- groupByKey
- reduceByKey
- sortByKey
- map
- filter
- join
- ……
行动操作包括,
- count
- collect
- first
- foreach
- reduce
- take
- ……
运行模式
Spark中通过master url来执行Spark的运行模式,Spark的运行模式包括本地运行、集群运行、yarn集群等,关于Spark master url的指定不同运行模式的含义如下,
URL值运行模式local使用1个线程本地化运行local[K]使用K个线程本地化运行local[*]使用逻辑CPU个数数量的线程来本地化运行spark://HOST:PORT指定集群模式运行Sparkyarn-cluster集群模式连接YARN集群yarn-client客户端模式连接YARN集群mesos://HOST:PORT连接到指定的Mesos集群
示例
下面就以一个简单的示例把前面Hadoop和Spark串联在一起,讲解一下HDFS+Spark的使用方法。
上传数据到HDFS
新建一个hello_world.txt的本地文件,并在文件中添加3行hello world,然后上传至HDFS,
$ cd /usr/local/hadoop/$ ./bin/hdfs dfs -mkdir -p /usr/hadoop$ touch hello_world.txt$ echo -e "hello world hello world hello world" >> hello_world.txt$ ./bin/hdfs dfs -put ./hello_world.txt /usr/hadoop
编写Spark程序
新建一个spark.py的Python文件,
$ vim spark.py
添加如下内容,
from pyspark import SparkConffrom pyspark import SparkContextconf = SparkConf().setAppName("FirstProject").setMaster("local[*]")sc = SparkContext.getOrCreate(conf)rdd = sc.textFile("hdfs:///master:9000/usr/hadoop/hello_world.txt")rdd.map(lambda line: line).foreach(print)
然后运行程序,
$ python spark.pyhello worldhello worldhello world
以上就是Spark的集群配置过程和基本使用方法。
大数据开发高薪必备全套资源【免费获取】
Oracle高级技术总监多年精心创作一套完整课程体系【大数据、人工智能开发必看】,全面助力大数据开发零基础+入门+提升+项目=高薪!
![a3818cfa34b13854950719a2ac0c61f6.png](https://i-blog.csdnimg.cn/blog_migrate/7caf35cbfabd708a5107d3da967ac5da.jpeg)
「大数据零基础入门」
![7c7f1102a9a347e5652859a6f798a355.png](https://i-blog.csdnimg.cn/blog_migrate/24b55f519828be2d29c26128ac753d68.jpeg)
「大数据架构系统组件」
![eecf147f0f5f8d477752f6c65373ee1d.gif](https://i-blog.csdnimg.cn/blog_migrate/7c1e7f01196cafc846d117cd770510d8.gif)
「大数据全套系统工具安装包」
Java必备工具
![46025ec39dac7ab41a6b8d5f6e0a5aa6.gif](https://i-blog.csdnimg.cn/blog_migrate/0d54bedd65a94417bf5899b5883a65e3.gif)
大数据必备工具
![979b41c3de41e9f521105a4947309653.gif](https://i-blog.csdnimg.cn/blog_migrate/fe5ee7d254dabe4f8eb26465620945f9.gif)
「大数据行业必备知资讯」
![271c0613847afd7a5ee436c5042e28c4.png](https://i-blog.csdnimg.cn/blog_migrate/f866480201a6dce1223b29cf22388429.jpeg)
「大数据精品实战案例」
![b14c843c3fed4043d77d59d244e71d37.gif](https://i-blog.csdnimg.cn/blog_migrate/731f983af690a5d92dd4727f4396a5a2.gif)
「大数据就业指导方案」
![5bafe59a3e5df11c684b4708b55c6bd8.png](https://i-blog.csdnimg.cn/blog_migrate/44069b930e4f3517266ed1ddcb17aaf2.jpeg)
最后说一下的,也就是以上教程的获取方式!
领取方法:
还是那个万年不变的老规矩
1.评论文章,没字数限制,一个字都行!
2.成为小编成为的粉丝!
3.私信小编:“大数据开发教程”即可!
谢谢大家,祝大家学习愉快!(拿到教程后一定要好好学习,多练习哦!)