2024年大数据最全【Spark深入学习 -14】Spark应用经验与程序调优，2024年最新面试突击版

最新推荐文章于 2024-10-29 09:57:15 发布

2401_84591870

最新推荐文章于 2024-10-29 09:57:15 发布

阅读量793

点赞数 19

分类专栏：程序员文章标签：大数据 spark 学习

本文链接：https://blog.csdn.net/2401_84591870/article/details/138458889

版权

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

优化后的，一共执行了11秒

每个task执行时间

再观察每个task花费时间，观察发现，每个task执行的时间比原来的4秒还长，原因是在资源不变的情况，任务数多了只有2个CPU，CPU变成瓶颈了，要频繁切换如果CPU很多，优化效果会非常好，CPU是瓶颈

2.3 设置合适的并发度

任务的并发度有几个级别：job级别的并发，stage级别的并发，task级别的并发。这里谈的并发优化是task级别的，主要就是map任务并行度和reduce任务的并行度，这方面的调优其实可以参考MapReduce的调优，原理都是一样一样的。Spark的任务数需要注意几点：

1）Map个数默认是和输入文件的blok数是一样的，如hdfs则和 blokc数目一致，hbase则和regio个数一致。

2）rdd之间的map个数如果不修改，后面的和前面个数一样

3）reduce默认个数也是和map个数一样

map设置方法：

单个设置： sc.textFile(“/input/data”,100); //指定100个blokc，那么就100个map

批量设置：将每个map处理数量调大，map数就少了，默认128M

2.4 修改存储格式

很多人并不明白为什么文件存储格式会影响文件的读取效率，我打个最简单的比方。我们知道linux 系统是单机版的操作系统，里面有ext3，ext4这样的文件，ext的职责就是对linux系统文件进行管理，HDFS是分布式的文件系统，也是对文件进行管理。好的文件系统就像一个勤快的媳妇，在你房子面积不变的情况下，勤快的媳妇会将物品放的井井有条，利用到房子里面的每个空间，你要拿什么东西，都能很快找到；而不好的文件系统就像是一个懒媳妇，房间里面堆满了东西，找起来很麻烦，房间利用率也非常糟糕，找东西困难，放东西进去也很难，东西越多越脏越乱。（媳妇没有好坏之分，只有适合不适合，还有看你怎么和媳妇相处了，互相了不了解，性格和脾气对不对路，文件系统也是如此）

文件存储格式和文件系统是一样的原理，文件系统管理的是文件，而文件储存格式管理的是文件内容（管理的是文件中每一行每一列的具体内容）。所以低效率的文件存储格式就像是一个赖媳妇，家里被管的一塌糊涂，东西越多越脏乱差，高效率的文件存储格式就是勤快且聪明的媳妇，一切都管的井然有序，取东西方便，放东西也容易，还会根据不同的物品特征进行摆放，完美，6666！！！

csv,txt,json等等都是懒媳妇，parquet，orc都是勤快媳妇，那为什么文本文件是懒媳妇，parquet是好媳妇，主要有以下几个原因：

文本文件为什么不好？

文本文件行存储，存储占用空间，而且读取数据的时候会读出很多不必要的数据出来，这就好像你叫懒媳妇给你拿一顶帽子，结果她把衣服，鞋子，袜子统统拿出来，然后再从里面挑出你要的帽子。

parquet为什么好，Spark使用parquet文件存储格式意义在哪里？