spark
吃胡萝卜的鳄鱼
这个作者很懒,什么都没留下…
展开
-
pyspark实现csv文件转parquet格式(最优解决方案)
pyspark实现csv文件转parquet格式(最优解决方案,自动识别字段类型)原创 2021-12-20 15:42:58 · 604 阅读 · 0 评论 -
saprk on yarn启动报错解决
错误日志:Yarn application has already ended! It might have been killed or unable to launch application master.出现此问题一般是机器的虚拟内存不够,导致yarn进程被杀解决方法:1.加大内存;2.在yarn-site中添加以下配置<property> <...原创 2019-03-29 17:39:59 · 422 阅读 · 2 评论