大数据集群Spark-on-Yarn+Paddle深度学习模型部署

已于 2023-10-09 09:38:21 修改
阅读量419 收藏
点赞数
分类专栏： # 大数据开发 文章标签： 大数据 spark paddle
于 2023-09-20 10:51:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/help_child/article/details/133064691
版权

背景：因数据量较大，想要将模型部署到大数据集群上进行计算。

测试环境：

Spark版本：2.4.0
Python版本：2.6.X
PaddlePaddle版本：2.4.2
处理器：CPU

过程记录:

1. python运行环境准备

本人使用Anaconda管理虚拟环境。关于虚拟环境的准备：模型需要什么第三方库就安装哪些库，最后可以使用conda-pack打包虚拟环境。

1.1conda-pack打包记录

在虚拟环境里下载conda-pack,注意：要打包哪个虚拟环境就在对应的环境中下载。

conda install conda-pack

使用命令进行打包。$your_env_name：虚拟环境名称。会将虚拟环境打包当前目录下，更多打包命令可上网查询。

conda pack -n $your_env_name

打包好的压缩包应该是：虚拟环境名.tar.gz。里面都是一些bin目录什么的，注意这些文件夹是直接打包放在了压缩包里面，外面并没有另外一层目录。这里需要搞清楚，不然后面压缩包上传到hdfs上后，关

最低0.47元/天 解锁文章
Spark案例分析：深度学习在Spark中的应用
AI天才研究院
02-17 378
1. 背景介绍 1.1 深度学习的崛起 深度学习是一种模仿人脑神经网络结构的机器学习方法，通过多层神经网络对数据进行自动学习和抽象表示。近年来，深度学习在计算机视觉、自然语言处理、语音识别等领域取得了显著的成果，成为人工智能领域的研究热点。
3.知识图谱业务落地技术推荐之图神经网络算法库&图计算框架汇总
丨汀、的博客
02-13 1192
结合PaddlePaddle深度学习框架，我们的框架基本能够覆盖大部分的图网络应用，包括图表示学习以及图神经网络。与目前的图深度学习库 PyTorch Geometric（PyG）和 Deep Graph Library（DGL）相比，虽然 PyG 和 DGL 支持基本的图深度学习操作，但 DIG 为更高层次的、面向研究的图深度学习任务提供了一个统一的测试平台，如graph generation，self-supervised learning,，explainability 以及 3D graphs。
Spark上的深度学习流水线
weixin_34133829的博客
05-14 564
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark与深度学习框架——H2O、deeplearning4j、SparkNet
博文视点（北京）官方博客
06-21 2810
引言：你可能对使用Spark服务比较感兴趣。Spark已经提供了很多功能，也有一个好用的界面，而且背后有强大的社区，开发者十分活跃，这也是人们对Spark寄予厚望的原因。深度学习是当前正在进行中的Spark项目之一。本文我们将介绍一些Spark能用的深度学习框架。 本文选自《Spark：大数据集群计算的生产实践》。 　　深度学习因其高准确率及通用性，成为机器学习中最受关注的领域。这种算...
作为一名大数据工程师你需要掌握Spark深度学习
人邮异步社区
02-04 1486
Tom M. Mitchell教授对于机器学习的定义对深度学习同样适用，深度学习是一种特殊的机器学习，它将现实世界表示为嵌套的层次概念体系（用较简单概念间的联系定义复杂概念，从一般抽象概括到高级抽象表示），从而获得强大的性能与灵活性。常见的深度学习算法有卷积神经网络、循环神经网络、受限波兹曼机等，本章将介绍如何用Spark深度学习框架Deeplearning4j来实现一些深度学习应用。 一般来说...
Spark 深度学习秘籍（一）
龙哥盟
07-23 1157
原文：zh.annas-archive.org/md5/D22F0E873CEFD5D61BC00E51F025B8FB 译者：飞龙 协议：CC BY-NC-SA 4.0 前言 随着深度学习在现代工业中迅速被广泛采用，组织机构正在寻找将流行的大数据工具与高效的深度学习库结合起来的方法。这将有助于深度学习模型以更高的效率和速度进行训练。 借助Apache Spark 深度学习食谱，您将通过具体的配方来生成深度学习算法的结果，而不会陷入理论中。从为深度学习设置 Apache Spark 到实现各种类型的神经
Spark 深度学习秘籍（四）
最新发布
龙哥盟
07-23 1020
2006 年，一家小型 DVD 租赁公司着手使他们的推荐引擎提高 10%。那家公司是 Netflix，Netflix 奖值 100 万美元。这场比赛吸引了来自世界各地一些最大科技公司的许多工程师和科学家。获胜参与者的推荐引擎是通过机器学习构建的。Netflix 现在是流媒体数据和向其客户推荐下一步应该观看的内容方面的领先科技巨头之一。如今，评分随处可见，无论你在做什么。
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.3
Spark MLlib 机器学习
06-05 4197
Spark MLlib Deep Learning Deep Belief Network (深度学习-深度信念网络)2.3 http://blog.csdn.net/sunbow0/ 第二章Deep Belief Network (深度信念网络) 3实例 3.1 测试数据 按照上例数据，或者新建图片识别数据。 3.2 DBN实例 //****************例2（读取固定样
手把手带你玩转Spark机器学习-深度学习在Spark上的应用
分享人工智能学习心得与实践经验，探讨应用场景，见证变革与进步
10-26 4658
本文将介绍深度学习在Spark上的应用，我们将聚焦于深度学习Pipelines库，并讲解使用DL Pipelines的方式。我们将讲解如何通过Pipelines实现Transfer Learning，同时通过预训练模型实现来处理少量数据并实现预测。本文主要介绍深度学习在Spark上的应用，以花卉图片为例，使用 Deep Learning Pipelines，并讲解使用DL Pipelines的方式。
基于spark相关的DeepLearning选择
u013303361的专栏
03-31 497
背景：TensorFlow性能差强人意，但DeepLearning领域优势，spark则反之。TensorFlow训练好的模型在spark中调用各种小问题不断。 基于spark相关的DeepLearning大致看了下面这些，各有优缺点： elephas：参考：https://github.com/maxpumperla/elephas dist-keras：参考：https://github.com/cerndb/dist-keras sparknet：低活跃，https://github.com/
spark支持深度学习批量推理
crazybean_lwb的博客
08-31 1955
在数据量较大的业务场景中，spark在数据处理、传统机器学习训练、深度学习相关业务，能取得较明显的效率提升。本篇围绕spark大数据背景下的推理，介绍一些优雅的使用方式。
MMLSpark：微软开源的用于Spark的深度学习库
Hadoop技术博文
10-24 1204
如果下面文档格式错乱，请参见https://www.iteblog.com/archives/1899.html，或点击下面阅读原文 进行阅读 MMLSpark为Apache Spark提供了大量深度学习和数据科学工具，包括将Spark Machine Learning管道与Microsoft Cognitive Toolkit（CNTK）和OpenCV进行无缝集成，使您能够快速创建功能强大，高
Spark在AI和深度学习中的应用
AI天才研究院
01-28 2084
1.背景介绍 1. 背景介绍 Apache Spark是一个开源的大规模数据处理框架，它可以处理批量数据和流式数据，并提供了一个易用的编程模型。Spark在大数据领域得到了广泛的应用，但是在AI和深度学习领域的应用却相对较少。然而，随着数据量的增加，Spark在AI和深度学习领域的应用也逐渐崛起。 在本文中，我们将讨论Spark在AI和深度学习领域的应用，包括其核心概念、算法原理、最佳实践、...
SparkMLib：深度学习基础
AI天才研究院
01-21 1233
1.背景介绍 1. 背景介绍 Apache Spark是一个快速、通用的大规模数据处理引擎，可以用于数据清洗、分析和机器学习。Spark MLlib是Spark的一个子项目，专门为大规模机器学习提供一套高效的算法和工具。MLlib包含了许多常用的机器学习算法，如线性回归、梯度提升、支持向量机等。 深度学习是一种人工智能技术，通过多层神经网络来学习数据的复杂模式。深度学习已经取得了很大的成功，...
Spark上的深度学习框架BigDL 介绍
图特摩斯科技-博客
10-10 3381
网址：https://github.com/intel-analytics/BigDL BigDL: Distributed Deep Learning Library for Apache Spark https://bigdl-project.github.io/ BigDL是基于Apache Spark的分布式深度学习框架，借助现有的Spark集群来运行深度学习计
Spark 机器学习&深度学习实战
weixin_42852136的博客
11-16 1049
Apache spark机器学习(MLlib)和深度学习(Deep Learning Pipelines)实战，为想深入了解或者实战Spark MLlib的同学提供一些参考。 原文https://www.slidestalk.com/s/sparkmlibrpractice 可下载 扫码关注示说网公众号 查看活动与加群 ...
飞桨（PaddlePaddle）数据预处理教程
weixin_46227276的博客
03-03 1588
对于自定义数据集，你可以在__init__方法中定义预处理方法，并在import os# 使用自定义数据集])通过本教程，你学会了如何在飞桨中使用数据预处理方法，以及如何在数据集中应用这些方法。这些技能对于构建和训练深度学习模型至关重要。现在，你可以开始准备你的数据集，以便进行模型训练了！记得在实际应用中，你可能需要根据你的数据集和任务需求调整数据预处理步骤。
PySpark+深度语义模型DSSM+获取embedding
机器学习
07-08 257
PySpark+深度语义模型DSSM+获取embedding https://blog.csdn.net/qq632683582/article/details/116091510 DeepFM原理以及DeepCTR代码实现 https://blog.csdn.net/qq_38574975/article/details/108294570 利用GBDT模型构造新特征 https://blog.csdn.net/levy_cui/article/details/77165596 ...
PySpark+多任务学习模型MMOE实践
数据挖掘ing
04-24 868
参考： https://github.com/drawbridge/keras-mmoe，作者用的是tensorflow1.15版本，根据线上环境需要换成了2.2版本的tensorflow。 运行环境： pyspark==2.4.0,keras==2.2.4,tensorflow==2.2 模型文件： #coding:utf-8 import random import os import pandas as pd import numpy as np from sklearn.me..
Docker+Spark-on-Yarn集群搭建与可视化教程
本文档详细介绍了如何基于Docker技术搭建Spark-on-YARN的大数据集群，并实现可视化管理。首先，从整体上介绍大数据集群部署的基本概念，指出集群构建的核心是利用Docker创建虚拟化的容器环境，通过weave网络工具实现...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值