用pycharm 调试pyspart调用保存文件的算子(saveAsTextFile 方法)需要配置Hadoop依赖的
import os
os.environ['PYSPARK_PYTHON'] = "D:/ProgramData/anaconda3/python.exe" # 加入解释器的环境变量。要不然会报错
os.environ['HADOOP_HOME'] = "D:/hadoop-3.0.0" # 需要配置环境变量
然后,配置本地的hadoop,
注意事项:
1. 提示Exception in thread "main" ExitCodeException exitCode=-1073741515 则是操作系统缺少 msvcr100.dll文件导致。如果你的问题解决了 恭喜你 但是我这么解决是没有效的 继续解决 我只能安装常用C++库合集(x86 + 64位)
2.报错org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
则是首先查看自己的JDK是不是64位,如果不是64,那么报错本质其实是如下
Can’t load AMD 64-bit .dll on a IA 32-bit platform
懂了吗?是你的hadoop.dll无法在32位的jdk环境下运行
那你要做的就是安装64位的JDK并且重新配置环境变量
最后把编辑器的环境变量给改成当前的JDK
最后注意,把32位的JDK环境删除掉,不然编辑器可能不能主动加载64位的环境
我就是安装了两个版本的jdk 一个64位 一个32位,结果默认的是32为的
查看本地java版本
打开cmd,输入:java -version ,如果出现64-bit则是64位的,否则是32位的。