1.安装的pyspark的版本要和spark的版本对应,不然就会出现show等参数不对应的问题,比如spark版本是2.3.0那么pyspark的版本就要求是2.3.0版本
2.引入spark的min,max等函数时pycharm中会报错: can not find reference min in function.py,这个报错并不影响实际运行,只是因为原生的max和spark的有重叠
pyspark注意事项
最新推荐文章于 2022-12-10 19:55:36 发布
1.安装的pyspark的版本要和spark的版本对应,不然就会出现show等参数不对应的问题,比如spark版本是2.3.0那么pyspark的版本就要求是2.3.0版本
2.引入spark的min,max等函数时pycharm中会报错: can not find reference min in function.py,这个报错并不影响实际运行,只是因为原生的max和spark的有重叠