BIGDL ON CDH

最新推荐文章于 2024-04-06 11:30:40 发布
最新推荐文章于 2024-04-06 11:30:40 发布
阅读量260 收藏
点赞数 1
分类专栏： 个人总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wflh323/article/details/88975727
版权
本文档介绍了如何在CDH集群上安装和测试BigDL，一个基于Apache Spark的分布式深度学习框架。首先从GitHub下载源码，然后在装有spark2.2的CDH环境中编译源码，通过make-dist.sh脚本创建可分发包。接着，使用编译后的jar文件启动spark2-shell并验证BigDL的功能。最后提供了官方文档链接和预编译版本的下载地址。
摘要由CSDN通过智能技术生成

BigDL是一种基于Apache Spark的分布式深度学习框架

安装

下载源码

   https://github.com/intel-analytics/BigDL

编译：

   CDH集群安装了spark2.2,采用spark2.2编译。执行如下命令

  1. 安装maven(apache maven官网下载解压配置环境变量即可，此处省略)
  2. 进入/home/bigdl/BigDL-master，执行如下命令编译：

        bash make-dist.sh -P spark_2.2

   3，编译完成，执行spark命令测试，如下：

   spark2-shell --properties-file /home/bigdl/BigDL-master/dist/conf/spark-bigdl.conf \

--jars /home/bigdl/BigDL-master/dist/lib/bigdl-0.5.0-SNAPSHOT-jar-with-dependencies.jar

scala>import</

最低0.47元/天 解锁文章
kevin_wf
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
BigDL: 一个用于Apache Spark的分布式深度学习库-python
06-18
BigDL: 一个用于Apache Spark的分布式深度学习库 BigDL：Apache Spark 上的分布式深度学习 什么是 BigDL？ BigDL 是 Apache Spark 的分布式深度学习库； 使用 BigDL，用户可以将他们的深度学习应用程序编写为标准 Spark 程序，这些程序可以直接在现有 Spark 或 Hadoop 集群上运行。 为了轻松构建 Spark 和 BigDL 应用程序，为端到端分析 + AI 管道提供了高级 Analytics Zoo。 丰富的深度学习支持。 BigDL 以 Torch 为模型，为深度学习提供全面支持，包括数值计算（通过 Tensor）和高级神经网络； 此外，用户可以使用 BigDL 将预训练的 Caffe 或 Torch 模型加载到 Spark 程序中。 极高的性能。 为了实现高性能，BigDL 在每个 Spark 任务中使用英特尔 MKL/英特尔 MKL-DNN 和多线程编程。 因此，它比单节点 Xeon 上的开箱即用开源 Caffe、Torch 或 TensorFlow 快几个数量级（即与主流 GPU 相当）
BigDL-LLM 安装指南——在iGPU集成显卡下使用BigDL-LLM大模型库加速LLM
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
03-13 2223
全网最详细的BigDL-LLM在iGPU下的安装指南，还有一些踩坑经验~ iGPU内存可以是动态随机存储器（DRAM）或静态随机存储器（SRAM）类型，DRAM类型的iGPU内存可以被访问和修改，而SRAM类型的iGPU内存速度更快，但容量通常较小且不可修改。iGPU内存的容量通常取决于使用的处理器型号和制造商，例如英特尔的iGPU内存容量通常在1GB到2GB之间，而AMD的iGPU内存容量则较高，通常在2GB到8GB之间。
BigDL：用于大数据的分布式深度学习框架
fuzi2012的博客
12-18 2515
BigDL：用于大数据的分布式深度学习框架 摘要 在本文中，作者提出了用于大数据平台和大数据工作流的分布式深度学习框架BigDL。它是基于Apache Spark实现的，允许用户将其深度学习应用程序编写为标准的Spark程序（以分布式方式直接在大型数据集群上运行）。它提供了一个富有表现力的“数据分析集成”(“data-analytics integrated”)的深度学习编程模型，以便用户可以在统...
BigDL：BigDL：适用于Apache Spark的分布式深度学习框架
02-04
BigDL：基于Apache Spark的分布式深度学习 什么是BigDL？ 是Apache Spark的分布式深度学习库； 借助BigDL，用户可以将其深度学习应用程序编写为标准Spark程序，这些程序可以直接在现有Spark或Hadoop集群之上运行。 为了轻松构建Spark和BigDL应用程序，提供了一个高级 ，用于端到端分析+ AI管道。 丰富的深度学习支持。 以为模型，BigDL为深度学习提供了全面的支持，包括数值计算（通过 ）和高级； 此外，用户可以使用BigDL将预先训练的或模型加载到Spark程序中。 极高的性能。 为了实现高性能，BigDL在每个Spark任务中使用 /
BigDL 介绍
sinat_34233802的博客
04-01 4617
BigDL是基于Apache Spark的分布式深度学习框架，借助现有的Spark集群来运行深度学习计算，并简化存储在Hadoop中的大数据集的数据加载。1.1丰富的深度学习支持。模拟Torch之后，BigDL为深入学习提供全面支持，包括数字计算（通过Tensor）和高级神经网络 ; 此外，用户可以使用BigDL将预先训练好的Caffe或Torch模型加载到Spark程序中。1.2极高的性能。为了实
CDH6.3.2集成tez
03-01
### CDH6.3.2集成tez #### 概述 Cloudera Distribution Including Apache Hadoop (CDH) 是一款由 Cloudera 公司提供的企业级大数据平台，它包含了 Hadoop 生态系统中的核心组件和服务。Tez 是一个支持复杂数据处理...
CDH6.3.2安装包下载
06-10
由于CSDN上传文件大小限制，大家可以下载《CDH6.3.2下载.txt》获取网盘地址进行下载，我打包了CDH6.3.2 搭建所需要的各种安装文件，包括： manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera cm6.3.1-...
cdh6.3.2 集成 Phoenix
02-08
在大数据处理领域，CDH（Cloudera Distribution Including Apache Hadoop）是一款广泛使用的开源大数据平台，它包含了Hadoop生态系统中的多个组件，如HDFS、YARN、MapReduce、Hive等。而Phoenix是一个针对HBase的SQL...
CDH之ZK升级.doc
03-01
- 备份现有ZooKeeper Jar包：`cp /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/zookeeper-3.4.5-cdh6.3.2.jar /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars/zookeeper-3.4.5-cdh...
Python-BigDL一个用于ApacheSpark的分布式深度学习库
08-11
BigDL: 一个用于Apache Spark的分布式深度学习库
基于Spark和Cloudera数据科学家工作平台的分布式机器学习实践
01-04
介绍基于Spark以及Cloudera Data Science Workbench的自动化数据科学工作的过程，并介绍通过BigDL深度学习算法包进行文本数据的分词和NLP算法处理来通过CDSW来简化各部门的协同来加速“从算法到结果”的周期
Windows下安装BigDL-LLM的总结（附Whisper加速环境需求）
dasha004的博客
03-19 987
Windows下安装BigDL-LLM的相关环境、组件的总结，并附Whisper下使用BigDL-LLM加速的环境需求
分布式深度学习库BigDL简述
最新发布
学以致用 知行合一
04-06 831
BigDL是一个在Apache Spark上构建的分布式深度学习库，由英特尔开发并开源。它允许用户使用Scala或Python语言在大规模数据集上进行深度学习模型的训练和推理。BigDL提供了许多常见的深度学习模型和算法的实现，包括卷积神经网络（CNN）、循环神经网络（RNN）等。由于其在Apache Spark上运行，因此可以很好地与Spark的分布式计算框架集成，充分利用分布式计算资源进行模型训练和推理，从而加速深度学习任务的处理速度。
BigDL 运行 LeNet5 on MNIST 发现的 BUG
ibingoogle的博客
03-08 747
1. 部署Hadoop 2.8.3, Spark 2.1.02. 编译和部署BigDL    编译command: ./make-dist.sh -P spark_2.x3. 运行脚本LeNet5-on-MNIST-example.sh:#!/bin/bash$SPARK_HOME/bin/spark-submit \    --master yarn \    --deploy-mode cli...
用IDEA开发BigDL——Scala
小博天蝎的博客
04-30 1195
综述BigDL 是一种面向 Apache Spark* 的分布式深度学习库。用户可以通过 BigDL 将深度学习应用编写为标准的 Spark 程序，可以直接在现有的 Spark 或 Hadoop* 集群上运行。
MLSQL拥抱BigDL,轻轻松松无编码玩深度学习
allwefantasy的专栏
10-13 964
前言 原谅我，前半句是真的，后半句是噱头，但是真的很简化了。 MLSQL已经有一个相对来比较完善的Python Runtime,细节可以参看这篇文章，所以玩深度学习是很容易的，不过需要你提供一段tensorflow代码或者项目。 但是我一直认为这应该是高阶用户的使用场景，因为你必须要写一个完整的tf/keras之类的代码，这对使用者的要求还是颇高的(当然，...
京东利用BigDL构建大规模图像特征提取
学以致用 知行合一
01-12 595
本文分享了英特尔和京东团队在 Apache Spark* 和 BigDL* 上使用深度学习构建大规模图像特征提取框架的经验和教训。
BigDL Tutorials
小博天蝎的博客
05-02 734
本文为BigDl官方文档译文
BigDL-LLM实践（1）：简介与环境配置
qq_46181367的博客
09-20 612
BigDL-LLM实践（1）：简介与环境配置
cdh flink on yarn
08-17
根据引用中的信息，CDH5.16.2上配置Flink on yarn可以通过flink官网提供的集成方式和HA配置方式来进行。具体的配置方式可以参考官方文档来完成。此外，根据引用中的信息，使用flink的web ui可以重新访问flink on ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值