记录一次spark本地运行时的org.apache.hadoop.io.nativeio.NativeIO问题

在Win10环境下,使用Maven、JDK和IDEA尝试本地运行Spark代码时遇到`java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO`错误。为解决问题,安装了Hadoop 2.8.3及Windows插件,并将环境变量配置到位。然而,即使如此,错误仍然存在。经过排查,发现是由于项目中依赖的Hadoop版本(3.2.0)与本地安装的Hadoop版本(2.8.3)不匹配所致。将pom.xml中Hadoop依赖版本更改为2.8.3后,问题得到解决。
摘要由CSDN通过智能技术生成

    最近换了新的电脑,好久不用的win10系统,安装了maven,jdk,idea之后,从git上下载了代码库,希望可以本地调试运行spark代码,安装好系统环境后,代码可以运行起来了,代码就是很简单的将系统字符存储到当前文件中,代码如下:

def main(args :Array[String]) :Unit = {
    val sparkConf = new SparkConf().setAppName("ArgsDemo")


    val sparkSession = SparkSession.builder().appName("test").config(sparkConf).getOrCreate()
    val path = new Path
    val config = path.getPathConfig()
    val rootPath = config.getString("root.path")
    println(rootPath)
    val seq = Seq("wfr")

    val outPath = config.getString("root.path")
    sparkSession.sparkContext.parallelize(seq).saveAsTextFile(outPath)
  }

运行过程中一直出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO错误,

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值