![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据操作
发糕学编程
这个作者很懒,什么都没留下…
展开
-
pyspark的JVM溢出 java.lang.OutOfMemoryError: Java heap space
pyspark大坑记录 这几天在用pyspark将本地文件批量存入es中时,出现了一些bug,这里记录一下; Bug1: java.lang.OutOfMemoryError: GC overhead limit exceeded Bug2:java.lang.OutOfMemoryError: Java heap space 最后经过一番百度,google之后发现都让我改$SPARK_HOME/conf/spark-env.sh里的driver memory配置,可是我改了之后完全没有卵用,最后还是在代码原创 2020-12-01 09:22:40 · 2265 阅读 · 0 评论 -
使用python压缩文件及文件夹
使用python压缩文件或者文件夹 使用python的zipfile压缩单个文件 import zipfile with zipfile.ZipFile("test.zip","w") as zfile: zfile.write("./test1.png") 使用python的zipfile压缩整个文件夹(包含最外层目录) def zip(file): zipfile_name = os.path.basename(file) + '.zip' with zipfile.ZipFile原创 2020-10-22 21:34:17 · 1692 阅读 · 0 评论