我们仍旧还是那年追逐着C++的少年的影子

原创 zip命令的坑 pyspark --py-files导入zip包不生效 / python导入zip包不生效

背景pyspark作业在cluster模式提交时候除了执行的文件外，如果有其他依赖的话，需要用–py-files导入，如果是导入一个python包(带__init__.py的文件夹)的话，需要先打包成zip包。(只是一种方式，也可以打包环境上传HDFS，和本文无关不多说)如: 想要调用的request包如果dn节点的机器上没有的话，可以把源码直接打成zip然后才可以调用--py-files ...