解决pyspark问题:在spark中使用集群未安装的python第三方库
解决pyspark问题:在集群中使用cluster模式,引入python复杂第三方库问题:在工作中,使用spark-summit部署python第三方库保存的xgboost模型(单机库模型,非xgboost-4j),运行出错,ImportError: No module name xxxx。使用第三方库有:pandas、numpy、xgboost。因为没有集群权限,模型安装流程复杂,尝试自己探索解决,看了国内外很多帖子,大致有3种情况:单一文件 自建模块 或python简单第三方库(不含.so文.
原创
2021-01-05 22:28:12 ·
4652 阅读 ·
0 评论