spark本地读取集群hive问题:Exception in thread main ExitCodeException exitCode=-1073741701
解决方案如下:
1、windows电脑下载安装hadoop(最好和集群的版本一致)
2、在windows上安装的时候需要在hadoop的安装目录的bin目录下替换hadoop.dll ,winutils.exe这两个文件(这两个文件的版本也要和hadoop尽量保持一致)
3、将hadoop.dll ,winutils.exe这两个文件放入C:\Windows\System32目录下
***如果此时运行代码,还有问题比如:
(1)双击winutils.exe文件之后,出现异常是0XC0000007B 就是环境问题
(2)winutils.exe chmod -R 777 D:\tmp\hive,出现异常是0XC0000007B 就是环境问题***
4、使用DirectX修复工具,修复windows环境问题
DirectX下载地址:DirectX下载地址
下载后,直接解压,运行exe文件,就开始修复电脑了。
最后,再去运行spark代码,就能成功读取Hive的数据了。
参考文章:https://blog.csdn.net/qew110123/article/details/124868356