1.背景
使用scala语言,调用Structured Streaming进行流处理
配置环境:
- IDEA 2021.2.2 Community Edition
- scala-2.12.15
2.Could not locate executable null\bin\winutils.exe in the Hadoop binaries问题
解决文章:https://www.cnblogs.com/tijun/p/7567664.html
Hadoop都是运行在Linux系统下的,在windows下IDA中运行spark程序,要首先安装Windows下运行的支持插件(我的是hadoop2.7.2)
发生问题前的操作:
下图为在IDEA中添加scala支持插件,
添加scalaSDK 2.12.15
然后在项目添加scala框架支持:
发生问题后:
环境变量指定HADOOP_HOME = …
在PATH变量中指定:%HADOOP_HOME%/bin
然后报错:
ExitCodeException exitCode=-1073741701:
1073741701转换为16进制为0xc000007b
双击运行wintuils.exe 运行不了,报错0xc000007b
但是在别人电脑上wintuils.exe 正常运行,发现缺少msvcr100.dll,
然后下载:Visual C++ 2010 Runtime Redistributable Package 动态运行库
解决问题