先看成功效果图:
系统:win10_vmware虚拟环境部署。
参考博客:windows下安装pyspark及pycharm配置最完整详细教程_pycharm安装pyspark-CSDN博客
补充:
- 寻找解决方法的过程中,所修改的环境变量和path均为系统变量,而不是用户变量。
- 虚拟机缺少缺少msvcr100.dll,可以搜索下载“DirectX_Repair”解决,有免费的,不要钱。
- cmd安装py4j的时候,需要安装spark对应版本的py4j,不然即使spark-shell可以成功运行,后续pycharm写代码时同样会报错。
- 查看spark的py4j版本,在spark安装目录下的jars文件夹,搜索py4j即可看到版本。
- 根据博客步骤中安装py4j时,执行 pip install py4j==查询到的版本。
问题:跟着作者步骤一路下来,到第四步“安装spark”后的第五小步“测试”出现报错(别人的图):

本文讲述了在Windows10的VMware虚拟环境中部署Pyspark时遇到的挑战,包括msvcr100.dll缺失、py4j版本匹配、环境变量设置、Scala安装和JAVA_HOME配置的注意事项,以及如何解决测试阶段的路径错误和保持cmd命令窗口干净的重要性。
最低0.47元/天 解锁文章
3193





