Structured Streaming遇到的问题(windows,idea,scala)

1.背景

使用scala语言,调用Structured Streaming进行流处理
配置环境:

  1. IDEA 2021.2.2 Community Edition
  2. scala-2.12.15

2.Could not locate executable null\bin\winutils.exe in the Hadoop binaries问题

解决文章:https://www.cnblogs.com/tijun/p/7567664.html

Hadoop都是运行在Linux系统下的,在windows下IDA中运行spark程序,要首先安装Windows下运行的支持插件(我的是hadoop2.7.2)

发生问题前的操作:
下图为在IDEA中添加scala支持插件,
在这里插入图片描述

添加scalaSDK 2.12.15
在这里插入图片描述
然后在项目添加scala框架支持:
在这里插入图片描述
发生问题后:
在这里插入图片描述

环境变量指定HADOOP_HOME = …
在PATH变量中指定:%HADOOP_HOME%/bin
然后报错:

ExitCodeException exitCode=-1073741701:
1073741701转换为16进制为0xc000007b
双击运行wintuils.exe 运行不了,报错0xc000007b

但是在别人电脑上wintuils.exe 正常运行,发现缺少msvcr100.dll,

然后下载:Visual C++ 2010 Runtime Redistributable Package 动态运行库
解决问题

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值