第1章 Spark概述1.1 什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark历史
![](https://i-blog.csdnimg.cn/blog_migrate/2554e81d10794d33ebf894c9e3755ad6.png)
![](https://i-blog.csdnimg.cn/blog_migrate/454413a13d4a861a9df0c33071c20702.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5cf0df03d79a0dc7770f8666ba763918.png)
1.3 Spark内置模块
![](https://i-blog.csdnimg.cn/blog_migrate/45d02464619def4a9c933eaa57d0bb97.png)
Spark Core:实现了Spark的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet,简称RDD)的API定义。 Spark SQL:是Spark用来操作结构化数据的程序包。通过Spark SQL,我们可以使用 SQL或者Apache Hive版本的HQL来查询数据。Spark SQL支持多种数据源,比如Hive表、Parquet以及JSON等。Spark Streaming:是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API,并且与Spark Core中的 RDD API高度对应。 Spark MLlib:提供常见的机器学习功能的程序库。包括分类、回归、聚类、协同过滤等,还提供了模型评估、数据 导入等额外的支持功能。 Spark GraphX:主要用于图形并行计算和图挖掘系统的组件。集群管理器:Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求,同时获得最大灵活性,Spark支持在各种集群管理器(Cluster Manager)上运行,包括Hadoop YARN、Apache Mesos,以及Spark自带的一个简易调度器,叫作独立调度器。 Spark得到了众多大数据公司的支持,这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务;阿里利用GraphX构建了大规模的图计算和图挖掘系统,实现了很多生产系统的推荐算法;腾讯Spark集群达到8000台的规模,是当前已知的世界上最大的Spark集群。1.4 Spark特点
![](https://i-blog.csdnimg.cn/blog_migrate/677aa957dca0e05baf7e38547369cc1d.png)
第2章 Spark运行模式部署Spark集群大体上分为两种模式:单机模式与集群模式大多数分布式框架都支持单机模式,方便开发者调试框架的运行环境。但是在生产环境中,并不会使用单机模式。因此,后续直接按照集群模式部署Spark集群。下面详细列举了Spark目前支持的部署模式。1)Local模式:在本地部署单个Spark服务2)Standalone模式:Spark自带的任务调度模式。(国内常用)3)YARN模式:Spark使用Hadoop的YARN组件进行资源与任务调度。(国内常用)4)Mesos模式:Spark使用Mesos平台进行资源与任务的调度。2.1 Spark安装地址1)官网地址:http://spark.apache.org/2)文档查看地址:https://spark.apache.org/docs/2.1.1/3)下载地址:https://spark.apache.org/downloads.html2.2 Local模式Local模式就是运行在一台计算机上的模式,通常就是用于在本机上练手和测试。2.2.1 安装使用1)上传并解压Spark安装包[atguigu@hadoop102 sorfware]$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/[atguigu@hadoop102 module]$ mv spark-2.1.1-bin-hadoop2.7 spark-local2)官方求PI案例[atguigu@hadoop102 spark-local]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master local[2] \./examples/jars/spark-examples_2.11-2.1.1.jar \10--class:表示要执行程序的主类;--master local[2](1)local: 没有指定线程数,则所有计算都运行在一个线程当中,没有任何并行计算(2)local[K]:指定使用K个Core来运行计算,比如local[2]就是运行2个Core来执行(3)local[*]: 自动帮你按照CPU最多核来设置线程数。比如CPU有4核,Spark帮你自动设置4个线程计算。spark-examples_2.11-2.1.1.jar:要运行的程序;10:要运行程序的输入参数(计算圆周率π的次数,计算次数越多,准确率越高);3)结果展示该算法是利用蒙特·卡罗算法求PI
![](https://i-blog.csdnimg.cn/blog_migrate/849f3500b75a7adddacf33ddedb9c370.png)
2.2.2 官方WordCount案例1)需求:读取多个输入文件,统计每个单词出现的总次数。2)需求分析:
![](https://i-blog.csdnimg.cn/blog_migrate/d7e0ebfc106715864f8642d9398919c1.png)
3)代码实现:(1)准备文件[atguigu@hadoop102 spark-local]$ mkdir input在input下创建2个文件1.txt和2.txt,并输入以下内容hello atguiguhello spark(2)启动spark-shell[atguigu@hadoop102 spark-local]$ bin/spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.propertiesSetting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).18/09/29 08:50:52 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable18/09/29 08:50:58 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectExceptionSpark context Web UI available at http://192.168.9.102:4040Spark context available as 'sc' (master = local[*], app id = local-1538182253312).Spark session available as 'spark'.Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.1.1 /_/Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144)Type in expressions to have them evaluated.Type :help for more information.
scala>注意:sc是SparkCore程序的入口;spark是SparkSQL程序入口;master = local[*]表示本地模式运行。(3)再开启一个hadoop102远程连接窗口,发现了一个SparkSubmit进程[atguigu@hadoop102 spark-local]$ jps3627 SparkSubmit4047 Jps运行任务方式说明:spark-submit,是将jar上传到集群,执行Spark任务;spark-shell,相当于命令行工具,本身也是一个Application。(4)登录hadoop102:4040,查看程序运行情况(注意:spark-shell窗口关闭掉,则hadoop102:4040页面关闭)
![](https://i-blog.csdnimg.cn/blog_migrate/f32d6ecb2102acb57a7ce136db8b835e.png)
说明:本地模式下,默认的调度器为FIFO。(5)运行WordCount程序scala>sc.textFile("/opt/module/spark-local/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((hadoop,6), (oozie,3), (spark,3), (hive,3), (atguigu,3), (hbase,6))注意:只有collect开始执行时,才会加载数据。可登录hadoop102:4040查看程序运行结果
2.3 集群角色2.3.1 Master和Worker
![](https://i-blog.csdnimg.cn/blog_migrate/78ae6a8aa627d20bb11a193f2b1787ff.png)
2.3.2 Driver和Executor
![](https://i-blog.csdnimg.cn/blog_migrate/72ec5ae181609440dbb0e506548bf639.png)
2.3.3 通用运行流程总结:Master和Worker是Spark的守护进程,即Spark在特定模式下正常运行所必须的进程。Driver和Executor是临时程序,当有具体任务提交到Spark集群才会开启的程序。2.4 Standalone模式Standalone模式是Spark自带的资源调动引擎,构建一个由Master + Slave构成的Spark集群,Spark运行在集群中。这个要和Hadoop中的Standalone区别开来。这里的Standalone是指只用Spark来搭建一个集群,不需要借助其他的框架。是相对于Yarn和Mesos来说的。2.4.1 安装使用1)集群规划 hadoop102 hadoop103 hadoop104Spark MasterWorker Worker Worker2)再解压一份Spark安装包,并修改解压后的文件夹名称为spark-standalone[atguigu@hadoop102 sorfware]$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/[atguigu@hadoop102 module]$ mv spark-2.1.1-bin-hadoop2.7 spark-standalone3)进入Spark的配置目录/opt/module/spark-standalone/conf[atguigu@hadoop102 spark-standalone]$ cd conf4)修改slave文件,添加work节点:[atguigu@hadoop102 conf]$ mv slaves.template slaves[atguigu@hadoop102 conf]$ vim slaveshadoop102hadoop103hadoop1045)修改spark-env.sh文件,添加master节点[atguigu@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh[atguigu@hadoop102 conf]$ vim spark-env.sh
SPARK_MASTER_HOST=hadoop102SPARK_MASTER_PORT=70776)分发spark-standalone包[atguigu@hadoop102 module]$ xsync spark-standalone/7)启动spark集群[atguigu@hadoop102 spark-standalone]$ sbin/start-all.sh查看三台服务器运行进程(xcall.sh是以前数仓项目里面讲的脚本)[atguigu@hadoop102 spark-standalone]$ xcall.sh jps================atguigu@hadoop102================3330 Jps3238 Worker3163 Master================atguigu@hadoop103================2966 Jps2908 Worker================atguigu@hadoop104================2978 Worker3036 Jps注意:如果遇到 “JAVA_HOME not set” 异常,可以在sbin目录下的spark-config.sh 文件中加入如下配置:export JAVA_HOME=XXXX8)网页查看:hadoop102:8080(master web的端口,相当于hadoop的9870端口) 目前还看不到任何任务的执行信息。9)官方求PI案例[atguigu@hadoop102 spark-standalone]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077 \./examples/jars/spark-examples_2.11-2.1.1.jar \10参数:--master spark://hadoop102:7077指定要连接的集群的master10)页面查看http://hadoop102:8080/,发现执行本次任务,默认采用三台服务器节点的总核数24核,每个节点内存1024M。8080:master的webUI4040:application的webUI的端口号
![](https://i-blog.csdnimg.cn/blog_migrate/42d742aa67da42c44d4e7034a119cefc.png)
2.4.2 参数说明1)配置Executor可用内存为2G,使用CPU核数为2个[atguigu@hadoop102 spark-standalone]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077 \--executor-memory 2G \--total-executor-cores 2 \./examples/jars/spark-examples_2.11-2.1.1.jar \102)页面查看http://hadoop102:8080/
![](https://i-blog.csdnimg.cn/blog_migrate/5de4be35a3fec3f3737e3b5fd6068c53.png)
3)基本语法bin/spark-submit \--class <main-class>--master <master-url> \... # other options<application-jar> \[application-arguments]4)参数说明参数 解释 可选值举例--class Spark程序中包含主函数的类 --master Spark程序运行的模式 本地模式:local[*]、spark://hadoop102:7077、Yarn--executor-memory 1G 指定每个executor可用内存为1G 符合集群内存配置即可,具体情况具体分析。--total-executor-cores 2 指定所有executor使用的cpu核数为2个 application-jar 打包好的应用jar,包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统,如果是file:// path,那么所有的节点的path都包含同样的jar application-arguments 传给main()方法的参数 2.4.3 配置历史服务由于spark-shell停止掉后,hadoop102:4040页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。1)修改spark-default.conf.template名称[atguigu@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf2)修改spark-default.conf文件,配置日志存储路径,并分发[atguigu@hadoop102 conf]$ vi spark-defaults.confspark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop102:8020/directory
[atguigu@hadoop102 conf]$ xsync spark-defaults.conf注意:需要启动Hadoop集群,HDFS上的目录需要提前存在。[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir /directory3)修改spark-env.sh文件,添加如下配置:[atguigu@hadoop102 conf]$ vi spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory -Dspark.history.retainedApplications=30"# 参数1含义:WEBUI访问的端口号为18080# 参数2含义:指定历史服务器日志存储路径# 参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。4)分发配置文件[atguigu@hadoop102 conf]$ xsync spark-env.sh5)启动历史服务[atguigu@hadoop102 spark-standalone]$ sbin/start-history-server.sh6)再次执行任务[atguigu@hadoop102 spark-standalone]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077 \--executor-memory 1G \--total-executor-cores 2 \./examples/jars/spark-examples_2.11-2.1.1.jar \107)查看Spark历史服务地址:hadoop102:18080
![](https://i-blog.csdnimg.cn/blog_migrate/1d386186c42c1921d4e75aafff7bb4ed.png)
2.4.4 配置高可用(HA)1)高可用原理
![](https://i-blog.csdnimg.cn/blog_migrate/30870cda91e7ab4811deebef242f4579.png)
2)配置高可用(0)停止集群[atguigu@hadoop102 spark-standalone]$ sbin/stop-all.sh(1)Zookeeper正常安装并启动(基于以前讲的数仓项目脚本)[atguigu@hadoop102 zookeeper-3.4.10]$ zk.sh start(2)修改spark-env.sh文件添加如下配置:[atguigu@hadoop102 conf]$ vi spark-env.sh
注释掉如下内容:#SPARK_MASTER_HOST=hadoop102#SPARK_MASTER_PORT=7077
添加上如下内容。配置由Zookeeper管理Master,在Zookeeper节点中自动创建/spark目录,用于管理:export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 -Dspark.deploy.zookeeper.dir=/spark"
添加如下代码Zookeeper3.5的AdminServer默认端口是8080,和Spark的WebUI冲突export SPARK_MASTER_WEBUI_PORT=8989(3)分发配置文件[atguigu@hadoop102 conf]$ xsync spark-env.sh(4)在hadoop102上启动全部节点[atguigu@hadoop102 spark-standalone]$ sbin/start-all.sh(5)在hadoop103上单独启动master节点[atguigu@hadoop103 spark-standalone]$ sbin/start-master.sh(6)在启动一个hadoop102窗口,将/opt/module/spark-local/input数据上传到hadoop集群的/input目录[atguigu@hadoop102 spark-standalone]$ hadoop fs -put /opt/module/spark-local/input/ /input(7)Spark HA集群访问[atguigu@hadoop102 spark-standalone]$bin/spark-shell \--master spark://hadoop102:7077,hadoop103:7077 \--executor-memory 2g \--total-executor-cores 2参数:--master spark://hadoop102:7077指定要连接的集群的master(8)执行WordCount程序scala>sc.textFile("hdfs://hadoop102:8020/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
res0: Array[(String, Int)] = Array((hadoop,6), (oozie,3), (spark,3), (hive,3), (atguigu,3), (hbase,6))3)高可用测试 (1)查看hadoop102的master进程[atguigu@hadoop102 ~]$ jps5506 Worker5394 Master5731 SparkSubmit4869 QuorumPeerMain5991 Jps5831 CoarseGrainedExecutorBackend(2)Kill掉hadoop102的master进程,页面中观察http://hadoop103:8080/的状态是否切换为active。[atguigu@hadoop102 ~]$ kill -9 5394(3)再启动hadoop102的master进程[atguigu@hadoop102 spark-standalone]$ sbin/start-master.sh2.4.5 运行流程Spark有standalone-client和standalone-cluster两种模式,主要区别在于:Driver程序的运行节点。1)客户端模式[atguigu@hadoop102 spark-standalone]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077,hadoop103:7077 \--executor-memory 2G \--total-executor-cores 2 \--deploy-mode client \./examples/jars/spark-examples_2.11-2.1.1.jar \10--deploy-mode client,表示Driver程序运行在本地客户端
![](https://i-blog.csdnimg.cn/blog_migrate/801c99cbef2288cbb74779c2b1be56f0.png)
2)集群模式模式[atguigu@hadoop102 spark-standalone]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://hadoop102:7077,hadoop103:7077 \--executor-memory 2G \--total-executor-cores 2 \--deploy-mode cluster \./examples/jars/spark-examples_2.11-2.1.1.jar \10
--deploy-mode cluster,表示Driver程序运行在集群
(1)查看http://hadoop102:8989/页面,点击Completed Drivers里面的Worker
![](https://i-blog.csdnimg.cn/blog_migrate/abfe581f0352c63be69f8a9acc5ab6c2.png)
(2)跳转到Spark Worker页面,点击Finished Drivers中Logs下面的stdout
![](https://i-blog.csdnimg.cn/blog_migrate/77c85a4f69bf0b923612db74a8947573.png)
(3)最终打印结果如下
![](https://i-blog.csdnimg.cn/blog_migrate/a5ef4884f4f803f5767b51e2c2eb8918.png)
2.5 Yarn模式(重点)Spark客户端直接连接Yarn,不需要额外构建Spark集群。2.5.1 安装使用0)停止Standalone模式下的spark集群[atguigu@hadoop102 spark-standalone]$ sbin/stop-all.sh[atguigu@hadoop102 spark-standalone]$ zk.sh stop[atguigu@hadoop103 spark-standalone]$ sbin/stop-master.sh1)为了防止和Standalone模式冲突,再单独解压一份spark[atguigu@hadoop102 software]$ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module/2)进入到/opt/module目录,修改spark-2.1.1-bin-hadoop2.7名称为spark-yarn[atguigu@hadoop102 module]$ mv spark-2.1.1-bin-hadoop2.7/ spark-yarn3)修改hadoop配置文件/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml,添加如下内容 因为测试环境虚拟机内存较少,防止执行过程进行被意外杀死,做如下配置[atguigu@hadoop102 hadoop]$ vi yarn-site.xml<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true --><property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value></property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true --><property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value></property>4)分发配置文件[atguigu@hadoop102 conf]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml5)修改/opt/module/spark/conf/spark-env.sh,添加YARN_CONF_DIR配置,保证后续运行任务的路径都变成集群路径[atguigu@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh[atguigu@hadoop102 conf]$ vi spark-env.sh
YARN_CONF_DIR=/opt/module/hadoop-2.7.2/etc/hadoop6)分发spark-yarn[atguigu@hadoop102 module]$ xsync spark-yarn7)启动HDFS以及YARN集群[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh8)执行一个程序[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \./examples/jars/spark-examples_2.11-2.1.1.jar \10参数:--master yarn,表示Yarn方式运行;--deploy-mod表示客户端方式运行程序9)如果运行的时候,抛出如下异常ClassNotFoundException:com.sun.jersey.api.client.config.ClientConfig-原因分析 Spark2中jersey版本是2.22,但是yarn中还需要依赖1.9,版本不兼容-解决方式在yarn-site.xml中,添加 <property> <name>yarn.timeline-service.enabled</name> <value>false</value></property>
10)查看hadoop103:8088页面,点击History,查看历史页面
![](https://i-blog.csdnimg.cn/blog_migrate/133b2a53d45f66d658ce7a23f128708f.png)
2.5.2 配置历史服务由于是重新解压的Spark压缩文件,所以需要针对Yarn模式,再次配置一下历史服务器。1)修改spark-default.conf.template名称[atguigu@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf2)修改spark-default.conf文件,配置日志存储路径,并分发[atguigu@hadoop102 conf]$ vi spark-defaults.confspark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop102:8020/directory
[atguigu@hadoop102 conf]$ xsync spark-defaults.conf3)修改spark-env.sh文件,添加如下配置:[atguigu@hadoop102 conf]$ vi spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory -Dspark.history.retainedApplications=30"# 参数1含义:WEBUI访问的端口号为18080# 参数2含义:指定历史服务器日志存储路径# 参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。4)分发配置文件[atguigu@hadoop102 conf]$ xsync spark-env.sh2.5.3 配置查看历史日志为了从Yarn上关联到Spark历史服务器,需要配置关联路径。1)修改配置文件/opt/module/spark/conf/spark-defaults.conf添加如下内容:spark.yarn.historyServer.address=hadoop102:18080spark.history.ui.port=180802)同步spark-defaults.conf配置文件[atguigu@hadoop102 conf]$ xsync spark-defaults.conf3)重启Spark历史服务[atguigu@hadoop102 spark]$ sbin/stop-history-server.sh
[atguigu@hadoop102 spark]$ sbin/start-history-server.sh 4)提交任务到Yarn执行[atguigu@hadoop102 spark]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \./examples/jars/spark-examples_2.11-2.1.1.jar \105)Web页面查看日志:http://hadoop103:8088/cluster
![](https://i-blog.csdnimg.cn/blog_migrate/bf973d4c11c1ec9efeba14556cba3756.png)
![](https://i-blog.csdnimg.cn/blog_migrate/19aa33028e6d6b0414e7d3f67b19e910.png)
2.5.4 运行流程Spark有yarn-client和yarn-cluster两种模式,主要区别在于:Driver程序的运行节点。yarn-client:Driver程序运行在客户端,适用于交互、调试,希望立即看到app的输出。yarn-cluster:Driver程序运行在由ResourceManager启动的APPMaster适用于生产环境。1)客户端模式(默认)[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode client \./examples/jars/spark-examples_2.11-2.1.1.jar \10
![](https://i-blog.csdnimg.cn/blog_migrate/4f135e44b52c869a477e7b4a9a2e42c7.png)
2)集群模式[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode cluster \./examples/jars/spark-examples_2.11-2.1.1.jar \10(1)查看http://hadoop103:8088/cluster页面,点击History按钮,跳转到历史详情页面
![](https://i-blog.csdnimg.cn/blog_migrate/8f1c9e19a2ded46a063c233f309596a5.png)
(2)点击Executors->点击driver中的stdout
![](https://i-blog.csdnimg.cn/blog_migrate/162b334905204c05440dd219a4cd3a0a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/127abd95c9089a9d19d8ecd20edc37b1.png)
可能碰到的问题:如果在 yarn 日志端无法查看到具体的日志, 则在yarn-site.xml中添加如下配置并启动Yarn历史服务器
![](https://i-blog.csdnimg.cn/blog_migrate/4d313d79449fd30baff7851e78b5dfe1.png)
<property> <name>yarn.log.server.url</name> <value>http://hadoop204:19888/jobhistory/logs</value></property>注意:hadoop历史服务器也要启动 mr-jobhistory-daemon.sh start historyserver
2.6 Mesos模式(了解)Spark客户端直接连接Mesos;不需要额外构建Spark集群。国内应用比较少,更多的是运用Yarn调度。2.7 几种模式对比模式 Spark安装机器数 需启动的进程 所属者Local 1 无 SparkStandalone 3 Master及Worker SparkYarn 1 Yarn及HDFS Hadoop2.8 端口号总结1)Spark历史服务器端口号:18080 (类比于Hadoop历史服务器端口号:19888)2)Spark Master Web端口号:8080(类比于Hadoop的NameNode Web端口号:9870(50070))3)Spark Master内部通信服务端口号:7077 (类比于Hadoop的8020(9000)端口)4)Spark查看当前Spark-shell运行任务情况端口号:40405)Hadoop YARN任务运行情况查看端口号:8088第3章 WordCount案例实操Spark Shell仅在测试和验证我们的程序时使用的较多,在生产环境中,通常会在IDE中编制程序,然后打成Jar包,然后提交到集群,最常用的是创建一个Maven项目,利用Maven来管理Jar包的依赖。3.1 编写程序1)创建一个Maven项目WordCount,包名为com.atguigu.spark2)输入文件夹准备:在新建的WordCount项目名称上右键=》新建input文件夹=》在input文件夹上右键=》分别新建1.txt和2.txt。每个文件里面准备一些word单词。3)导入项目依赖<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.1</version> </dependency></dependencies><build> <finalName>WordCount</finalName> <plugins> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <version>3.4.6</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin> </plugins></build>
注意:如果maven版本为3.2.x,插件下载报错,那么修改插件版本为3.3.24)创建伴生对象WordCount,编写代码package com.atguigu.spark
import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
//1.创建SparkConf并设置App名称 val conf = new SparkConf().setAppName("WC").setMaster("local[*]")
//2.创建SparkContext,该对象是提交Spark App的入口 val sc = new SparkContext(conf)
//3.读取指定位置文件:hello atguigu atguigu val lineRdd: RDD[String] = sc.textFile("input")
//4.读取的一行一行的数据分解成一个一个的单词(扁平化)(hello)(atguigu)(atguigu) val wordRdd: RDD[String] = lineRdd.flatMap(line => line.split(" "))
//5. 将数据转换结构:(hello,1)(atguigu,1)(atguigu,1) val wordToOneRdd: RDD[(String, Int)] = wordRdd.map(word => (word, 1))
//6.将转换结构后的数据进行聚合处理 atguigu:1、1 =》1+1 (atguigu,2) val wordToSumRdd: RDD[(String, Int)] = wordToOneRdd.reduceByKey((v1, v2) => v1 + v2)
//7.将统计结果采集到控制台打印 val wordToCountArray: Array[(String, Int)] = wordToSumRdd.collect() wordToCountArray.foreach(println)
//一行搞定 //sc.textFile(args(0)).flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).saveAsTextFile(args(1))
//8.关闭连接 sc.stop() }}5)打包插件<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>3.0.0</version> <configuration> <archive> <manifest> <mainClass>com.atguigu.spark.WordCount</mainClass> </manifest> </archive> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions></plugin>6)打包到集群测试 (1)点击package打包,然后,查看打完后的jar包
![](https://i-blog.csdnimg.cn/blog_migrate/6a6a452176e919bf0478a5c62bcfdde4.png)
(2)将WordCount.jar上传到/opt/module/spark目录(3)在HDFS上创建,存储输入文件的路径/input[atguigu@hadoop102 spark]$ hadoop fs -mkdir /input(4)上传输入文件到/input路径[atguigu@hadoop102 spark]$ hadoop fs -put /opt/module/spark-local-standalone/input/1.txt /input(5)执行任务[atguigu@hadoop102 spark]$ bin/spark-submit \--class com.atguigu.spark.WordCount \--master yarn \WordCount.jar \/input \/output注意:input和ouput都是HDFS上的集群路径。(6)查询运行结果[atguigu@hadoop102 spark]$ hadoop fs -cat /output/*注意:如果运行发生压缩类没找到,可以参考如下方案解决https://blog.csdn.net/dkcgx/article/details/44833425
3.2 本地调试本地Spark程序调试需要使用Local提交模式,即将本机当做运行环境,Master和Worker都为本机。运行时直接加断点调试即可。如下:package com.atguigu.spark
import org.apache.spark.{SparkConf, SparkContext}
object WordCount {
def main(args: Array[String]): Unit = {
//1.创建SparkConf并设置App名称,设置本地模式运行 val conf = new SparkConf().setAppName("WC").setMaster("local[*]")
//2.创建SparkContext,该对象是提交Spark App的入口 val sc = new SparkContext(conf)
//3.使用sc创建RDD,输入和输出路径都是本地路径 sc.textFile("input").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).saveAsTextFile("output")
//4.关闭连接 sc.stop() }}3.3 关联源码1)按住ctrl键,点击RDD
![](https://i-blog.csdnimg.cn/blog_migrate/82c8da4040f932d81ddb553d9e82f764.png)
2)提示下载或者绑定源码
![](https://i-blog.csdnimg.cn/blog_migrate/63163f88b32d1429a2166853491239d7.png)
3)解压资料包中spark-2.1.1.zip到非中文路径。例如解压到:E:\02_software4)点击Attach Sources…按钮,选择源码路径E:\02_software\spark-2.1.1
![](https://i-blog.csdnimg.cn/blog_migrate/fc22dbcaa6457a04adf140934e0e83ce.png)
3.4 异常处理如果本机操作系统是Windows,如果在程序中使用了Hadoop相关的东西,比如写入文件到HDFS,则会遇到如下异常:
出现这个问题的原因,并不是程序的错误,而是用到了hadoop相关的服务,解决办法1.配置HADOOP_HOME环境变量2.在IDEA中配置Run Configuration,添加HADOOP_HOME变量
![](https://i-blog.csdnimg.cn/blog_migrate/0d6ae28c385391f2dc85bbd951bc7d3c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/8597e8def07fc44ab22009f6e1eff564.png)