那些踩过的坑
1 pyspark程序在集群上运行——配置文件
配置文件需要分发到各个节点:
(1)配置文件打包进zip,zip包含_int_.py文件
(2)bash 文件中配置好
引用了其他的数据源,也要添加进bash文件
2 包导入的问题——报错
没有解决。。。。。
集群上运行pyspark的坑———调用(bash)
最新推荐文章于 2021-01-05 03:56:26 发布
那些踩过的坑
1 pyspark程序在集群上运行——配置文件
配置文件需要分发到各个节点:
(1)配置文件打包进zip,zip包含_int_.py文件
(2)bash 文件中配置好
引用了其他的数据源,也要添加进bash文件
2 包导入的问题——报错
没有解决。。。。。