记部署pyspark,运行spark-shell报错:无法指定路径

本文讲述了在Windows10的VMware虚拟环境中部署Pyspark时遇到的挑战,包括msvcr100.dll缺失、py4j版本匹配、环境变量设置、Scala安装和JAVA_HOME配置的注意事项,以及如何解决测试阶段的路径错误和保持cmd命令窗口干净的重要性。

先看成功效果图:

系统:win10_vmware虚拟环境部署。

参考博客:windows下安装pyspark及pycharm配置最完整详细教程_pycharm安装pyspark-CSDN博客

补充:

  1. 寻找解决方法的过程中,所修改的环境变量和path均为系统变量,而不是用户变量。
  2. 虚拟机缺少缺少msvcr100.dll,可以搜索下载“DirectX_Repair”解决,有免费的,不要钱。
  3. cmd安装py4j的时候,需要安装spark对应版本的py4j,不然即使spark-shell可以成功运行,后续pycharm写代码时同样会报错。
    1. 查看spark的py4j版本,在spark安装目录下的jars文件夹,搜索py4j即可看到版本。
    2. 根据博客步骤中安装py4j时,执行 pip install py4j==查询到的版本。

问题:跟着作者步骤一路下来,到第四步“安装spark”后的第五小步“测试”出现报错(别人的图):

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值