cloudera中启动spark-shell,进行ALS推荐算法的使用时,用到的jblas的导入方法

      我们在使用spark的ALS的推荐算法时,需要用到jblas包,这时如果我们直接利用:

 import org.jblas.DoubleMatrix
会提示我们jblas包不存在的问题。 一般我们直接将下载的jblas包,放在spark的lib目录下,启动完成。   

   但是,cloudera中启动spark-shell,导入jblas包的时候,提示不存在,直接放在lib目录下,导入还是提示不存在。这时我们找到spark在cloudera中的安装位置:/usr/lib/spark,进入lib目录,将下载的jblas包导入,下载地址:http://www.java2s.com/Code/JarDownload/jblas/jblas-1.2.3.jar.zip

      然后,在spark-env.sh文件中,将jblas的路径进行关联

SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$SPARK_LIBRARY_PATH/usr/lib/spark/lib/sparkjblas-1.2.3-SNAPSHOT.jar"
重新启动spark-shell命令,再次:
import org.jblas.DoubleMatrix

完成。

总结:我们自己安装的spark中,我们将jblas放在spark的lib目录下,但是在cloudera中,我们找到spark的安装目录,直接放入后,发现导入时,还是提示包不存在,这是需要我们在spark-env.sh的文件中加上一个关联就可以了。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值