zip命令的坑 pyspark --py-files导入zip包不生效 / python导入zip包不生效
背景pyspark作业在cluster模式提交时候除了执行的文件外,如果有其他依赖的话,需要用–py-files导入,如果是导入一个python包(带__init__.py的文件夹)的话,需要先打包成zip包。(只是一种方式,也可以打包环境上传HDFS,和本文无关不多说)如: 想要调用的request包如果dn节点的机器上没有的话,可以把源码直接打成zip然后才可以调用--py-files ...
原创
2019-01-21 23:54:09 ·
10286 阅读 ·
0 评论