saveAsTextFile很慢very slow

最新推荐文章于 2023-04-28 09:04:06 发布
最新推荐文章于 2023-04-28 09:04:06 发布
阅读量4.7k 收藏 2
点赞数 1
分类专栏： PySpark简明教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haohaizijhz/article/details/70337843
版权
PySpark简明教程 专栏收录该内容
24 篇文章 27 订阅 ¥9.90 ¥99.00
订阅专栏
本文探讨了在Spark程序中遇到`saveAsTextFile`操作速度慢的问题。作者通过分析发现，问题并非出在IO瓶颈，而在于计算密集型任务。在增加count操作后，发现程序卡在了count阶段。最终，通过增加分区数和executor数量，并调整每个core的内存，优化了程序性能。
摘要由CSDN通过智能技术生成

问题表象：通过spark UI观察整个执行阶段开在saveAsTextFile阶段，很多task一直处于运行阶段，感觉很慢，程序是不是卡出了。

初步判断：saveAsTextFile既然是卡在了这，肯定是IO瓶颈吧？因为其他阶段特别快呀

分析：

首先根据以往经验，saveAsTextFile应该是一个非常快速的操作。

查看save的结果，只有1024M左右（为我的耐心点赞，为了看输出结果，我等了60分钟！等的花都谢了），可以断定把这个量级的数据导出来是不会消耗多少时间的

那问题来了，这到底是在哪里出了问题导致这么慢，通过UI感觉前面的计算阶段很快呀

很遗憾，那都是表现，不信你在saveAsTextFile面前加一个count的，然后你会发现在spark UI中不在卡在save阶段了，而是卡在了count

豁然开朗，本spark程序并不是一个IO密集型的程序，而是一个计算密集型的程序


怎么办？

翻开spark程序优化宝典，看了半天全是在围绕内存和序列化做文章！

然后再看看自己程序，使用了传说中宇宙最强的序列化类，而且内存已经快开到队列的极限，马上就要引起运维大哥的注意了

回到最初，也许spark除了内存计算最强外，spark还有个分布式的概念吧

对了，那就是增加并行度

增加分区数，增加到365试试，同时增加--num-executors的数量，别怕，先让它等于前面的分区个数试试，记得调低每个core的内存，不然队列就爆了


只要开始永远不晚
关注
专栏目录
订阅专栏
【Codecs系列】x265编码器（三）：preset支持工具集和优化分析
CSDN明星博主，认证博客专家，视频、Matlab领域优质创作者。
12-29 8188
DATE: 2021.12.29 文章目录1、preset支持工具集1.1、placebo1.2、veryslow1.3、slower1.4、slow1.5、medium1.6、fast1.7、faster1.8、veryfast1.9、superfast1.10、ultrafast2、工具集优化 1、preset支持工具集 1.1、placebo param->bEnableEarlySkip = 0; param->bEnableWeightedBiPred
【深度学习】经典网络之VGG：Very Deep Convolutional Networks for Large-Scale Image Recognition
拾年之璐
11-11 3358
本文主要内容： 1. VGGNet简介 2. VGG网络详解 3. VGG网络的亮点 1. VGGNet简介 在AlexNet网络（Krizhevsky等，2012）的基础上，牛津大学的著名研究组VGG（Visual Geometry Group）在2014年提出了一个新的网络，在论文中称为 very deep convolutional networks ，因为其网络层达到19层。后来称之为VGG网络。 VGG网络获得了当年(2014年) lmageNet 竞赛中 Localization Task(定
spark saveAsTextFile too slow
qq_20488317的博客
05-21 2277
saveAsTextFile很慢，一个文件saveASText要15分钟以上，解决思路：1、配置文件：查看spark-submit的参数    如截图，查看一下这些配置是否设置的过小     2、代码（python）df.rdd.map(lambda x: (random.randint(1, 10240), x)).partitionBy(128).map(lambda (r, x): "%s"...
Spark生态之Alluxio学习22--saveAsTextFile alluxio后count （有bug）
Keep Learning
11-16 904
更多代码请见：https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本：alluxio-1.3.0（tachyon），spark-1.5.2,hadoop-2.6.00 以下分析是主要是基于spark-1.5.2和alluxio-1.3.0分析的，默认不支持数据本地化，所以会有跨节点传输1.解释先加载到mem，然后count出现问题，D
python用pycharm 调试 pyspark的保存算子（saveAsTextFile ）问题记录错误提示
最新发布
ljqhello2008的专栏
04-28 773
如果你的问题解决了 恭喜你 但是我这么解决是没有效的 继续解决 我只能安装常用C++库合集（x86 + 64位）打开cmd，输入：java -version ，如果出现64-bit则是64位的，否则是32位的。最后注意，把32位的JDK环境删除掉，不然编辑器可能不能主动加载64位的环境。则是首先查看自己的JDK是不是64位，如果不是64，那么报错本质其实是如下。我就是安装了两个版本的jdk 一个64位 一个32位，结果默认的是32为的。是你的hadoop.dll无法在32位的jdk环境下运行。
spark RDD算子（十一）之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等
Joie_TJ的博客
11-11 784
saveAsTextFile def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 codec参数可以指定压缩的类名。
记录一次Spark调优性能对比
bigdataprimary的博客
12-18 434
在重写MR到Spark的过程中发现Spark的性能并没有达到我的预期，记录一次调优操作即效果对比 本文涉及调优手段： 持久化 分区数 未调优之前的代码： val jsonStringRDD: RDD[String] = sc.textFile(s"$inputPath") val check1RDD = jsonStringRDD.filter(js =&gt; check1(...
very-slow-jython:通过玩具实现非常缓慢地重新思考Jython
03-22
Very Slow Jython项目的目的是通过从零代码开始的玩具实现的逐步，叙述性演变，重新考虑核心中的实现选择。 这个项目既是写作项目，也是编程项目。 开发的叙述是使用Sphinx的reStructuredText。 可以在阅读文档”中...
彻底解决git clone速度慢的问题(ubuntu)
weixin_55023359的博客
11-13 5317
之前git clone https://github.com/一些仓库的速度巨慢，速度达到惊人的20kib/s。 克隆个稍微大一点的文件（比如PX4/Firmware.git）就根本完成不了，中途会因为克隆超时而中止。 因此可以用本地库和github.com上的库连接的方法（ssh协议）来加快速度下载。 首先在~上随意新建一个目录，作为你的本地仓库。 这里我的本地仓库名为repositories 1.先让本地与github关联 注意这里得在主目录~中： ssh-keygen -t rsa -
Ubuntu上git clone慢的解决方法
Zlp19970106的博客
09-01 2096
文章目录1. 查看域名对应的IP地址1.1 github.global.ssl.fastly.net1.2 github.com2. 修改hosts，在hosts中添加刚才查到的两个网址（如下图中最下方的两个）3. 重启一下网络，并重启一下电脑 git clone特别慢是因为github.global.ssl.fastly.net域名被限制了。只要找到这个域名对应的ip地址，然后在hosts文件中加上ip–>域名的映射，刷新DNS缓存便可。 1. 查看域名对应的IP地址 网址：https://ww
spark中saveAsTextFile如何最终生成一个文件
松门一枝花
05-15 5015
原文地址：http://www.cnblogs.com/029zz010buct/p/4685173.html ----------------------------------------------------------------------- 一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00000一直到part-0000n，n自然就是
spark的rdd.saveastextfile可以追加写入hdfs吗
u013013024的博客
06-12 1万+
是不能的，现在我来说一下原因，首先spark的任务是并行的，如果你的所有的j任务都往一个文件中追加，那么这些任务都必须去获得会后一行的位置，但是最后一行的位置是只能有一个任务获得的，所以其他任务不可能同时获得最后一行的位置，这个机制就决定了，多个任务追加写入同一个文件。如果你把所有数据都聚合到一个节点上，是可以追加到同一个文件，这个场景用的极少。
Spark Streaming 的saveAsTextFiles遇到的坑
weixin_34319374的博客
01-10 1080
使用sparkStreaming消费数据，并使用Dstream的saveAsTextFile保存数据到hdfs中，通过使用这个方法，生成的文件夹存在问题， 代码例子如下： resultRdd.map(x=>x).saveAsTextFiles("hdfs:ip//data/storage/20181010/"+(new Date()))...
Spark saveAsTextFile
热门推荐
power0405hf的专栏
01-27 1万+
当我运行完一个Spark程序想把结果保存为saveAsTextFile， 结果使用hadoop fs -ls la /qy/151231.txt后发现里面有一系列的part，好几千个。 原因： 运行Spark的时候把数据分成了很多份（partition），每个partition都把自己的数据保存在partxxx文件夹。 如果想保存为一份的话，就要： 先collect 或者data.coa
spark saveASTextFile
frogbar的博客
01-26 1万+
转自 https://www.cnblogs.com/devilmaycry812839668/p/6922738.html scala> val rd1 =sc.parallelize(Array(1 to 10000)) rd1: org.apache.spark.rdd.RDD[scala.collection.immutable.Range.Inclusive] = ParallelC
RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
cloud-2014的专栏
09-14 1397
saveAsTextFile def saveAsTextFile(path: String): Unit def saveAsTextFile(path: String, codec: Class[_ saveAsTextFile用于将RDD以文本文件的格式存储到文件系统中。 codec参数可以指定压缩的类名。 var rdd1 = sc.makeRDD(1 to 1
spark踩到的坑，saveAsTextFile
weixin_45691780的博客
08-17 733
data.saveAsTextFile("/user/data/text/xxx.txt")默认保存在HDFS上面，由于保存的是txt的文件，想要从HDFS上面下载又需要很长时间 要想保存在本地需要加上file data.saveAsTextFile(“file:///user/data/text/xxx.txt”)才是到本地； ...
torch.topk slow
04-04
The torch.topk function can be slow in certain cases due to the size of the input tensor or the number of elements being retrieved. If the input tensor is very large, the function may take a long time to compute. Similarly, if the number of elements being retrieved is very large, the function may also be slow. One way to speed up the torch.topk function is to use a smaller input tensor or to retrieve fewer elements. Another way is to use a GPU to perform the computation, as GPUs can perform certain operations much faster than CPUs. Additionally, optimizing the code and using parallelization techniques can also help to speed up the function.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

只要开始永远不晚

谢谢打赏~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值