大数据最新大数据进阶之路——Spark SQL小结_spark sql进阶，2024年最新附高频面试题合集

2401_84182793

于 2024-05-07 13:05:33 发布

阅读量803

点赞数 6

分类专栏：程序员文章标签：大数据 spark sql

本文链接：https://blog.csdn.net/2401_84182793/article/details/138528121

版权

程序员专栏收录该内容

124 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

–master spark://Oscar-2.local:7077
/tmp/spark-2.2.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.0.jar
100


其中 master:7077是 Spark 的 Master 节点的主机名和端口号，当然集群是需要提前启动。


不管使用什么模式，Spark应用程序的代码是一模一样的，只需要在提交的时候通过–master参数来指定我们的运行模式即可


* Client  
 Driver运行在Client端(提交Spark作业的机器)  
 Client会和请求到的Container进行通信来完成作业的调度和执行，Client是不能退出的  
 日志信息会在控制台输出：便于我们测试
* Cluster  
 Driver运行在ApplicationMaster中  
 Client只要提交完作业之后就可以关掉，因为作业已经在YARN上运行了  
 日志是在终端看不到的，因为日志是在Driver上，只能通过yarn logs -applicationIdapplication\_id

./bin/spark-submit
–class org.apache.spark.examples.SparkPi
–master yarn
–executor-memory 1G
–num-executors 1
/home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.1.0.jar \


此处的yarn就是我们的yarn client模式  
 如果是yarn cluster模式的话，yarn-cluster


`Exception in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.`


如果想运行在YARN之上，那么就必须要设置HADOOP\_CONF\_DIR或者是YARN\_CONF\_DIR


1） `export HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop`  
 2) `$SPARK_HOME/conf/spark-env.sh`

./bin/spark-submit
–class org.apache.spark.examples.SparkPi
–master yarn-cluster
–executor-memory 1G
–num-executors 1
/home/hadoop/app/spark-2.1.0-bin-2.6.0-cdh5.7.0/examples/jars/spark-examples_2.11-2.1.0.jar
4


`yarn logs -applicationId application_1495632775836_0002`


#### 宽依赖、窄依赖


![](https://img-blog.csdnimg.cn/6827c8d5804e4d478331626d43a9bc11.png)


1. 窄依赖指的是每一个 Parent RDD 的 Partition 最多被子 RDD 的一个 Partition 使用（一子一亲）
2. 宽依赖指的是多个子 RDD 的 Partition 会依赖同一个 parent RDD的 partition（多子一亲）


RDD 作为数据结构，本质上是一个**只读的分区记录集合**。一个 RDD 可以包含多个分区，每个分区就是一个数据集片段。


首先，窄依赖可以支持在**同一个节点**上，以 pipeline 形式执行多条命令（也叫同一个 Stage 的操作），例如在执行了 map 后，紧接着执行 filter。相反，宽依赖需要所有的父分区都是可用的，可能还需要调用类似 MapReduce 之类的操作进行**跨节点传递**。


其次，则是从失败恢复的角度考虑。窄依赖的失败恢复更有效，因为它只需要重新计算丢失的 parent partition 即可，而且可以并行地在不同节点进行重计算（一台机器太慢就会重新调度到多个节点进行）。


#### Spark SQL比 Hive 快在哪



> 
> 当Map的输出结果要被Reduce使用时，输出结果需要按key哈希，并且分发到每一个Reducer上去，这个过程就是shuffle。  
>  由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。
> 
> 
> 


Spark SQL 比 Hadoop Hive 快，是有一定条件的，而且不是 Spark SQL 的引擎比 Hive 的引擎快，相反，Hive 的 HQL 引擎还比 Spark SQL 的引擎更快。其实，关键还是在于 Spark 本身快。


1. 消除了冗余的 HDFS 读写: Hadoop 每次 shuffle 操作后，必须写到磁盘，而 **Spark 在 shuffle 后不一定落盘**，可以 persist 到内存中，以便迭代时使用。如果操作复杂，很多的 shufle 操作，那么 Hadoop 的读写 IO 时间会大大增加，也是 Hive 更慢的主要原因了。
2. 消除了冗余的 MapReduce 阶段: Hadoop 的 shuffle 操作一定连着完整的 MapReduce 操作，冗余繁琐。而 Spark 基于 RDD 提供了丰富的算子操作，且 **reduce 操作产生 shuffle 数据，可以缓存在内存中** 。
3. JVM 的优化: Hadoop 每次 MapReduce 操作，启动一个 Task 便会启动一次 JVM，基于进程的操作。而 Spark 每次 MapReduce 操作是基于线程的，只在启动 Executor 是启动一次 JVM，内存的 Task 操作是在**线程复用**的。每次启动 JVM 的时间可能就需要几秒甚至十几秒，那么当 Task 多了，这个时间 Hadoop 不知道比 Spark 慢了多少。


#### 打包的注意事项


打包时要注意，pom.xml中需要添加如下plugin

maven-assembly-plugin jar-with-dependencies


`mvn assembly:assembly`

./bin/spark-submit
–class com.hiszm.log.SparkStatCleanJobYARN
–name SparkStatCleanJobYARN
–master yarn
–executor-memory 1G
–num-executors 1
–files /home/hadoop/lib/ipDatabase.csv,/home/hadoop/lib/ipRegion.xlsx
/home/hadoop/lib/sql-1.0-jar-with-dependencies.jar
hdfs://hadoop001:8020/hiszm/input/* hdfs://hadoop001:8020/hiszm/clean


注意：–files在spark中的使用


`spark.read.format("parquet").load("/hiszm/clean/day=20170511/part-00000-71d465d1-7338-4016-8d1a-729504a9f95e.snappy.parquet").show(false)`

./bin/spark-submit
–class com.hiszm.log.TopNStatJobYARN
–name TopNStatJobYARN
–master yarn
–executor-memory 1G
–num-executors 1
/home/hadoop/lib/sql-1.0-jar-with-dependencies.jar
hdfs://hadoop001:8020/hiszm/clean 20170511


存储格式的选择：`http://www.infoq.com/cn/articles/bigdata-store-choose/`  
 压缩格式的选择：`https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-compression-analysis/`


调整并行度

./bin/spark-submit
–class com.hiszm.log.TopNStatJobYARN
–name TopNStatJobYARN
–master yarn
–executor-memory 1G
–num-executors 1
–conf spark.sql.shuffle.partitions=100
/home/hadoop/lib/sql-1.0-jar-with-dependencies.jar
hdfs://hadoop001:8020/hiszm/clean 20170511