python用pycharm 调试 pyspark的保存算子(saveAsTextFile )问题记录错误提示

用pycharm 调试pyspart调用保存文件的算子(saveAsTextFile 方法)需要配置Hadoop依赖

import os

os.environ['PYSPARK_PYTHON'] = "D:/ProgramData/anaconda3/python.exe" # 加入解释器的环境变量。要不然会报错

os.environ['HADOOP_HOME'] = "D:/hadoop-3.0.0" # 需要配置环境变量

然后,配置本地的hadoop,

注意事项:

下载 Hadoop 安装包
解压到电脑任意位置
Python 代码中使用 os 模块配置: os.environ[‘HADOOP_HOME’] = ‘HADOOP 解压文件夹路径
下载winutils .exe ,并放入 Hadoop 解压文件夹的 bin 目录内
下载 hadoop.dll ,并放入 :C:/Windows/System32 文件夹内

1. 提示Exception in thread "main" ExitCodeException exitCode=-1073741515 则是操作系统缺少 msvcr100.dll文件导致。如果你的问题解决了 恭喜你 但是我这么解决是没有效的 继续解决 我只能安装常用C++库合集(x86 + 64位) 

2.报错org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

则是首先查看自己的JDK是不是64位,如果不是64,那么报错本质其实是如下
Can’t load AMD 64-bit .dll on a IA 32-bit platform
懂了吗?是你的hadoop.dll无法在32位的jdk环境下运行
那你要做的就是安装64位的JDK并且重新配置环境变量
最后把编辑器的环境变量给改成当前的JDK
最后注意,把32位的JDK环境删除掉,不然编辑器可能不能主动加载64位的环境
 

我就是安装了两个版本的jdk 一个64位 一个32位,结果默认的是32为的

查看本地java版本 

打开cmd,输入:java -version ,如果出现64-bit则是64位的,否则是32位的。

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值