超级会员免费看
本文介绍了Spark分区的概念，强调了分区在网络传输优化中的重要性。分区的目的是减少数据传输，提高性能，例如在sum计算中。Spark通过key的hashcode分区，确保相同key在同一节点，减少shuffle。大表分区，小表进行shuffle，是常见的优化策略。文章还讨论了Spark分区原则，如默认分区数等于集群核心数，并提供了本地和YARN模式下分区的配置方法。
欢迎关注github《大数据成神之路》
目录
一、分区的概念
二、为什么要进行分区
三、Spark分区原则及方法
3.1 本地模式
3.2 YARN模式
四、分区器
正文
一、分区的概念
分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。
二、为什么要进行分区
数据分区，在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。mapreduce框架的性能开支主要在io和网络传输，io因为要大量读写文件，它是不可避免的，但是网络传输是可以避免的，把大文件压缩变小文件
订阅专栏 解锁全文
扫一扫
518
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
