saveAsTextFile很慢very slow

最新推荐文章于 2021-11-13 23:40:46 发布
最新推荐文章于 2021-11-13 23:40:46 发布
阅读量4.7k 收藏 2
点赞数 1
分类专栏： PySpark简明教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haohaizijhz/article/details/70337843
版权
PySpark简明教程 专栏收录该内容
24 篇文章 27 订阅 ¥9.90 ¥99.00
订阅专栏
本文探讨了在Spark程序中遇到`saveAsTextFile`操作速度慢的问题。作者通过分析发现，问题并非出在IO瓶颈，而在于计算密集型任务。在增加count操作后，发现程序卡在了count阶段。最终，通过增加分区数和executor数量，并调整每个core的内存，优化了程序性能。
摘要由CSDN通过智能技术生成

问题表象：通过spark UI观察整个执行阶段开在saveAsTextFile阶段，很多task一直处于运行阶段，感觉很慢，程序是不是卡出了。

初步判断：saveAsTextFile既然是卡在了这，肯定是IO瓶颈吧？因为其他阶段特别快呀

分析：

首先根据以往经验，saveAsTextFile应该是一个非常快速的操作。

查看save的结果，只有1024M左右（为我的耐心点赞，为了看输出结果，我等了60分钟！等的花都谢了），可以断定把这个量级的数据导出来是不会消耗多少时间的

那问题来了，这到底是在哪里出了问题导致这么慢，通过UI感觉前面的计算阶段很快呀

很遗憾，那都是表现，不信你在saveAsTextFile面前加一个count的，然后你会发现在spark UI中不在卡在save阶段了，而是卡在了count

豁然开朗，本spark程序并不是一个IO密集型的程序，而是一个计算密集型的程序


怎么办？

翻开spark程序优化宝典，看了半天全是在围绕内存和序列化做文章！

然后再看看自己程序，使用了传说中宇宙最强的序列化类，而且内存已经快开到队列的极限，马上就要引起运维大哥的注意了

回到最初，也许spark除了内存计算最强外，spark还有个分布式的概念吧

对了，那就是增加并行度

增加分区数，增加到365试试，同时增加--num-executors的数量，别怕，先让它等于前面的分区个数试试，记得调低每个core的内存，不然队列就爆了


只要开始永远不晚
关注
专栏目录
订阅专栏
【Codecs系列】x265编码器（三）：preset支持工具集和优化分析
CSDN明星博主，认证博客专家，视频、Matlab领域优质创作者。
12-29 8158
DATE: 2021.12.29 文章目录1、preset支持工具集1.1、placebo1.2、veryslow1.3、slower1.4、slow1.5、medium1.6、fast1.7、faster1.8、veryfast1.9、superfast1.10、ultrafast2、工具集优化 1、preset支持工具集 1.1、placebo param->bEnableEarlySkip = 0; param->bEnableWeightedBiPred
spark saveAsTextFile too slow
qq_20488317的博客
05-21 2258
saveAsTextFile很慢，一个文件saveASText要15分钟以上，解决思路：1、配置文件：查看spark-submit的参数    如截图，查看一下这些配置是否设置的过小     2、代码（python）df.rdd.map(lambda x: (random.randint(1, 10240), x)).partitionBy(128).map(lambda (r, x): "%s"...
Spark生态之Alluxio学习22--saveAsTextFile alluxio后count （有bug）
Keep Learning
11-16 894
更多代码请见：https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本：alluxio-1.3.0（tachyon），spark-1.5.2,hadoop-2.6.00 以下分析是主要是基于spark-1.5.2和alluxio-1.3.0分析的，默认不支持数据本地化，所以会有跨节点传输1.解释先加载到mem，然后count出现问题，D
记录一次Spark调优性能对比
bigdataprimary的博客
12-18 422
在重写MR到Spark的过程中发现Spark的性能并没有达到我的预期，记录一次调优操作即效果对比 本文涉及调优手段： 持久化 分区数 未调优之前的代码： val jsonStringRDD: RDD[String] = sc.textFile(s"$inputPath") val check1RDD = jsonStringRDD.filter(js => check1(...
spark的rdd.saveastextfile可以追加写入hdfs吗
u013013024的博客
06-12 1万+
是不能的，现在我来说一下原因，首先spark的任务是并行的，如果你的所有的j任务都往一个文件中追加，那么这些任务都必须去获得会后一行的位置，但是最后一行的位置是只能有一个任务获得的，所以其他任务不可能同时获得最后一行的位置，这个机制就决定了，多个任务追加写入同一个文件。如果你把所有数据都聚合到一个节点上，是可以追加到同一个文件，这个场景用的极少。
Spark Streaming 的saveAsTextFiles遇到的坑
weixin_34319374的博客
01-10 1064
使用sparkStreaming消费数据，并使用Dstream的saveAsTextFile保存数据到hdfs中，通过使用这个方法，生成的文件夹存在问题， 代码例子如下： resultRdd.map(x=>x).saveAsTextFiles("hdfs:ip//data/storage/20181010/"+(new Date()))...
【SPARK】Spark RDD在saveAsTextFile时直接保存成一个txt文件
Zsigner的博客
09-09 4995
在该语句之前加上repartition(1)，即写作以下形式： rdd.repartition(1).saveAsTextFile("out.txt")即，之前每个partition保存成一个txt文件，现repartition成一个分区，然后再保存。 注意（未验证）：这个操作对于大文件来说，repartition(1)可能会导致某一个节点内存不足，超出的部分会临时存放在硬盘中，影响saveAs...
very-slow-jython:通过玩具实现非常缓慢地重新思考Jython
03-22
Very Slow Jython项目的目的是通过从零代码开始的玩具实现的逐步，叙述性演变，重新考虑核心中的实现选择。 这个项目既是写作项目，也是编程项目。 开发的叙述是使用Sphinx的reStructuredText。 可以在阅读文档”中...
彻底解决git clone速度慢的问题(ubuntu)
weixin_55023359的博客
11-13 5210
之前git clone https://github.com/一些仓库的速度巨慢，速度达到惊人的20kib/s。 克隆个稍微大一点的文件（比如PX4/Firmware.git）就根本完成不了，中途会因为克隆超时而中止。 因此可以用本地库和github.com上的库连接的方法（ssh协议）来加快速度下载。 首先在~上随意新建一个目录，作为你的本地仓库。 这里我的本地仓库名为repositories 1.先让本地与github关联 注意这里得在主目录~中： ssh-keygen -t rsa -
在安装eclipse时，进度条不动，还提示下载的很慢，大部分是...wall!
胭脂草的ABC博客
08-05 7554
Eclipse国内镜像源配置方法 Table of Contents 我们在国内从官网下载Eclipse以及插件非常慢，那么，有没有方法变快呢？ 有，那就是使用国内的公开镜像源替换官方源。 1下载Eclipse 首先，我们看一个链接地址： http://mirror.bit.edu.cn/eclipse/technology/epp/downloads/release/juno/SR1/eclipse-jee-juno-SR1-win32.zip 其中，http://mirror.bit...
【深度学习】经典网络之VGG：Very Deep Convolutional Networks for Large-Scale Image Recognition
拾年之璐
11-11 3336
本文主要内容： 1. VGGNet简介 2. VGG网络详解 3. VGG网络的亮点 1. VGGNet简介 在AlexNet网络（Krizhevsky等，2012）的基础上，牛津大学的著名研究组VGG（Visual Geometry Group）在2014年提出了一个新的网络，在论文中称为 very deep convolutional networks ，因为其网络层达到19层。后来称之为VGG网络。 VGG网络获得了当年(2014年) lmageNet 竞赛中 Localization Task(定
spark saveAsTable 太慢
Talk Is Cheap
01-17 1388
前面有个join， 可能是join的两边重复的key太多了。
如何解决spark写hive慢的问题
热门推荐
lulynn的博客
05-31 1万+
在使用spark写hive过程中，发现最耗时的部分是将产生的结果写入hive，举个例子，对3g*1G表的join来讲，将结果使用以下方式直接写入hive表需要超过半小时的时间： dataframe.registerTempTable("result") sql(s"""INSERT OVERWRITE Table $outputTable PARTITION (dt ='$output
pyspark保存文件FileAlreadyExistsException问题解决
强哥叨逼叨
06-18 3351
入坑 前一阵子，强哥遇到一个需求，通过livy执行pyspark编写的sql语句，将sql的查询结果转成csv文件存入s3上。大致的代码如下：
spark saveAsTextFile
sysmedia的博客
05-08 1839
当我运行完一个Spark程序想把结果保存为saveAsTextFile，  结果使用Hadoop fs -ls la /qy/151231.txt后发现里面有一系列的part，好几千个。  原因：  运行Spark的时候把数据分成了很多份（partition），每个partition都把自己的数据保存在partxxx文件夹。  如果想保存为一份的话，就要：  先collect  或
spark stream中的dstream对象saveAsTextFiles问题
艾@七的专栏
09-19 8135
利用spark streaming从kafka读取数据，进行流数据的统计分析，最后产生dstream类型的结果集，但是涉及到数据的保存时，遇到了一点小障碍。 我们都知道，spark中普通rdd可以直接只用saveAsTextFile(path)的方式，保存到本地，hdfs中，但是dstream对象没有saveAsTextFile()方法，只有saveAsTextFiles()方法，而且，其参数只
spark 调用saveAsTextFile输出文件 报错NullPointerException
weixin_44532250的博客
02-01 561
写了一个简单的分区并输出本地文件，结果输出的文件都是空白文件： 查询之后 发现是本地缺少hadoop需要的一个文件所致 如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决 1）下载需要的文件 winutils.exe 将此文件放置在某个目录下，比如C:\winutils\bin\中。 3）在程序的一开始声明：System.setProperty(“hadoop.home.dir”, “c:\winutils\”) winutils.exe文件下载 链接：https://
torch.topk slow
最新发布
04-04
Similarly, if the number of elements being retrieved is very large, the function may also be slow. One way to speed up the torch.topk function is to use a smaller input tensor or to retrieve fewer ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

只要开始永远不晚

谢谢打赏~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值