SparrowRec实战:运行特征工程和Embedding的scala文件报错

在idea上运行src/main/java/com/sparrowrecsys/offline/spark/featureeng/FeatureEngineering.scala和src/main/java/com/sparrowrecsys/offline/spark/embedding/Embedding.scala文件的时候开始都很长一片红报错,大概是:Failed to locate winutils binary in the hadoop binary path.
Could not locate executable null\bin\winutils.exe in the Hadoop binaries.……
但发现其实不影响这两个文件的运行结果,特征工程和embedding的数据处理结果还是能打印出来,不过还是想办法解决了。
就按网上说的下载了hadoop,为了和项目中的版本匹配,去官网下载了hadoop.2.7.7.tar,解压后发现bin目录下没有winutils.exe文件,就又在网上找了一个github上的hadoop winutils下载集合,也找的是2.7.7的版本,下载后的bin目录比原文件夹下的bin目录内文件丰富很多:
在这里插入图片描述
这里就有winutils文件了,
然后去电脑系统设置里配置环境变量,新建环境变量:

HADOOP_HOME

填上自己存放的hadoop-2.7.7的路径
再在Path路径里添加bin路径

%HADOOP_HOME%\bin

再在ClassPath里添加

%HADOOP_HOME%\bin\winutils.exe

重启电脑,就没有报错了,运行结果还是一样的
Run的过程有点慢,数据量再大点估计更慢……
还有一个这个WARN,不知道有啥影响:

WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值