- 博客(3)
- 收藏
- 关注
RSS订阅原创 pyspark的JVM溢出 java.lang.OutOfMemoryError: Java heap space
pyspark大坑记录 这几天在用pyspark将本地文件批量存入es中时，出现了一些bug，这里记录一下； Bug1： java.lang.OutOfMemoryError: GC overhead limit exceeded Bug2：java.lang.OutOfMemoryError: Java heap space 最后经过一番百度，google之后发现都让我改$SPARK_HOME/conf/spark-env.sh里的driver memory配置，可是我改了之后完全没有卵用，最后还是在代码
2020-12-01 09:22:40
2265
原创 docker搭建分布式Elasticsearch集群(最简单教程)
docker搭建分布式Elasticsearch集群 主机 node1:192.168.50.21 node2:192.168.50.22 node3:192.168.50.23 环境依赖 Jdk1.8 docker root权限 搭建步骤（确保已经安装docker和jdk1.8） 切换root权限 sudo -i 创建es文件夹 mkdir /data/docker_elasticsearch 创建脚本文件并编写脚本 node1 新建脚本文件create_ES_cluste
2020-11-04 12:16:10
930
原创 使用python压缩文件及文件夹
使用python压缩文件或者文件夹 使用python的zipfile压缩单个文件 import zipfile with zipfile.ZipFile("test.zip","w") as zfile: zfile.write("./test1.png") 使用python的zipfile压缩整个文件夹（包含最外层目录） def zip(file): zipfile_name = os.path.basename(file) + '.zip' with zipfile.ZipFile
2020-10-22 21:34:17
1692
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人