spark1.2 使用breeze 的 netlib.BLAS 异常

最新推荐文章于 2022-11-13 08:47:24 发布
最新推荐文章于 2022-11-13 08:47:24 发布
阅读量6.4k 收藏
点赞数 1
分类专栏： scala spark 文章标签： spark1.2 breeze netlib.BLAS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dkcgx/article/details/47132871
版权
在 Spark 1.2 中，standalone 模式下运行使用 Breeze 的任务时，出现无法加载 netlib.BLAS 实现的警告。官方说明指出，这需要手动添加 com.github.fommil.netlib 依赖并重新编译 Spark。然而，从 Spark 1.3 版本开始，这个问题已被修复，无需手动添加依赖，会自动使用 JVM 实现作为替代。
摘要由CSDN通过智能技术生成

使用spark1.2 的 standalone 模式运行使用breeze的任务，报如下警告：

15/07/28 02:49:32 WARN netlib.BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS

15/07/28 02:49:32 WARN netlib.BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS


由官网，spark1.2 有：

MLlib uses the linear algebra package Breeze, which depends on netlib-java, and jbla

最低0.47元/天 解锁文章
刀砍磁感线
关注
专栏目录
Spark MLlib机器算法入门实战
尬聊码农
07-16 1139
1、机器学习简介 1.1、 什么是机器学习 机器学习这个词是让人疑惑的，首先它是英文名称Machine Learning(简称ML)的直译，在计算界Machine一般指计算机。这个名字使用了拟人的手法，说明了这门技术是让机器“学习”的技术。但是计算机是死的，怎么可能像人类一样“学习”呢？ 传统上如果我们想让计算机工作，我们给它一串指令，然后它遵照这个指令一步步执行下去。有因有果，非常明确。但这样的...
大数据开发之机器学习总结（Spark Mllib）（四）
xiaohu21的博客
10-31 877
大数据开发之机器学习总结（Spark Mllib）（四） 背景 在大数据和机器学习交叉的领域，如果公司选择了hadoop生态，结合spark框架，则spark 的mllib用于机器学习实际应用就是不二选择了。 团队有spark基础，学习和适用门槛低。但如果选择python生态，则需要团队有python基础，另外个人认为，python工程化对比java生态还是差了那么一些意思。 1. Spark MLLib简介 spark的mllib目前支持4种常见机器学习问题，分类，回归，聚类，协同过滤。 mlli
breeze.github.io:Breeze文档网站
04-28
breeze.github.io Breeze文档网站
Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS解决方法
热门推荐
templarzq的专栏
01-24 2万+
-Dcom.github.fommil.netlib.BLAS=com.github.fommil.netlib.NativeRefBLAS -Dcom.github.fommil.netlib.LAPACK=com.github.fommil.netlib.NativeRefLAPACK -Dcom.github.fommil.netlib.ARPACK=com.github.fommil.
从源码看DL4J中Native BLAS的加载,以及配置
along
11-27 7142
最近在用DeepLearning4J(DL4J)尝试语音识别的深度学习,但是报Native Blas找不到的警告,于是从源码中找下方法,把过程和经验记录与此.
SparrowRec实战：运行特征工程和Embedding的scala文件报错
weixin_45744256的博客
11-13 290
SparrowRec实战中项目运行的一点hadoop报错
Hive_SQL（一）
令狐公子的博客
08-01 844
Last login: Tue Aug 29 09:11:12 2017 from 10.72.37.75 [root@bdddev-agent-205 ~]# su hive [hive@bdddev-agent-205 root]$ cd [hive@bdddev-agent-205 ~]$ hive 2017-08-30 08:56:44,327 WARN [main] conf.Hiv...
Spark ALS应用BLAS加速
fansy1990的专栏
02-27 2097
文章目录Spark ALS应用BLAS加速1. 环境2. 问题引入3. 参考：4. 思路：4.1 简单测试：4.2 使用Native BLAS需要添加的Jar包方式1：在Intellij IDEA 中添加依赖找到方式2： 自行指定参数编译Spark源码4.3 使用新编译的Spark测试是否加载Native BLAS5. 修改官网提供的安装包，使其加载BLAS5.1 使用 --jars 参数5.2 ...
Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
yirenboy的专栏
09-11 8624
- “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 - “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and perform
pyspark MLlib 学习笔记
weixin_40169609的博客
09-09 342
非pyspark命令行需要手动创建SparkSession
PredictionIO 做推荐系统踩的坑
灬皇帝的新装灬的博客
07-12 1292
1. spark 安装目录问题 ambari 安装的spark 版本号和社区下载的不一样，semver.sh脚本执行正则的时候验证spark版本是否合格，会失败。 重新安装 spark 指定路径 2. 链接数据库须带端口 3.spark路径 /data/Software/spark-2.3.3 4.postgresql数据库： 数据地址： ...
Spark中组件Mllib的学习4之examples中的MovieLensALS修改本地运行
Keep Learning
05-16 2602
环境： spark-1.5.2在idea中自己定义的project中local模式运行，需要注意几个地方：1.文件导入： MovieLensALS.scala 和AbstractParams.scala 其中继承了MovieLensALSAbstractParams，如果不导入AbstractParams会报错2.maven 的pom导入包<?xml version="1.0" encodi
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 23/05/31 22:53:23 WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 23/05/31 22:53:23 WARN BLAS: Failed to load implementation from: com
最新发布
06-01
这是Spark程序启动时的日志信息。其中提到了BLAS，它是一个数学库，用于执行矩阵和向量运算，可以加速机器学习算法的计算。但是，程序启动时出现了警告信息，提示BLAS的实现加载失败。具体原因可能是因为计算机没有安装相应的BLAS库，或者BLAS库的版本不兼容。建议检查计算机的BLAS库情况，或者尝试更改Spark程序的配置文件，使用其他的BLAS库实现。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值