阿里云分布式深度学习训练架构Whale

于 2024-03-13 16:27:01 发布
阅读量569 收藏 8
点赞数 6
分类专栏： Reading 文章标签： 阿里云 分布式 深度学习
知识在分享中升华，思想在交流中沉淀。
本文链接：https://blog.csdn.net/qwfys200/article/details/136683782
版权
qwfys200
关注
  • 6
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
颜色分类leetcode-deepzoo::whale2:深度学习模型Zoo
07-06
颜色分类leetcode 问题 通常很难对经过训练的开源项目模型进行推理。 这主要是因为大多数深度学习存储库都是关于描述新架构、解释训练过程和/或发布惊人的指标结果。 重点更多地放在模型描述和解释上，而不是模型使用上。 当我们想要运行某个模型时，经常会遇到复杂的安装步骤甚至模型不可用（自己训练！）。 目标 这个 repo 的目标是提供一个我们可以使用经过训练的模型的地方。 每个模型都将托管在其自己的站点中，其中 README 将引导用户通过简单易行的步骤来运行模型（通常涉及站点中还提供的辅助类）。 所有模型也将托管在此存储库的releases部分下。 贡献！ :raising_hands: 扩大此收藏的唯一方法是在您的帮助下。 如果您知道如何运行传统模型和/或您构建了一个模型并希望分享它，欢迎您。 读 。 笔记 暂时只使用 Python！ :snake: 如何使用 选择一个类别。 选择任务 选择模型并转到模型站点！ 类别： 该索引将带您查看该类别的所有模型，无论框架如何 计算机视觉任务 自然语言处理任务 音频任务 图像分类 ：将整个图像分为 1000 个类别，例如“斑马”、“熊猫”和“洗碗机”。 物体检测 ：高速定位和分类对
2-3+超大模型高效训练的分布式框架Whale.pdf
03-18
2-3+超大模型高效训练的分布式框架Whale
Big Whale任务调度系统-其他
06-12
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG执行调度和流处理任务的状态监测调度，并具有重复应用检测、大内存应用检测等功能。 服务基于Spring Boot 2.0开发，打包后即可运行。 环境准备： Java 1.8+ Mysql 5.1.0+ 安装： 1、创建数据库：big-whale 2、运行数据库脚本：big-whale.sql 3、根据Spring Boot环境，配置相关数据库账号密码，以及SMTP信息 4、配置：big-whale.properties 配置项说明 ssh.user: 拥有脚本执行权限的ssh远程登录用户名（平台会将该用户作为统一的脚本执行用户） ssh.password: ssh远程登录用户密码 dingding.enabled: 是否开启钉钉告警 dingding.watcher-token: 钉钉公共群机器人Token yarn.app-memory-threshold: Yarn应用内存上限（单位：MB），-1禁用检测 yarn.app-white-list: Yarn应用白名单列表（列表中的应用申请的内存超过上限，不会进行告警） 5、修改：$FLINK_HOME/bin/flink，参考：flink（因flink提交任务时只能读取本地jar包，故需要在执行提交命令时从hdfs上下载jar包并替换脚本中的jar包路径参数） 6、打包：mvn clean package 启动： 1、检查端口17070是否被占用，被占用的话，关闭占用的进程或修改项目端口号配置重新打包 2、拷贝target目录下的big-whale.jar，执行命令：java -jar big-whale.jar 初始配置 1、打开：http://localhost:17070 2、输入账号admin，密码admin 3、点击：权限管理->用户管理，修改当前账号的邮箱为合法且存在的邮箱地址，否则会导致邮件发送失败 4、添加集群 集群管理->集群管理->新增 “yarn管理地址”为Yarn ResourceManager的WEB UI地址 “程序包存储目录”为程序包上传至hdfs集群时的存储路径，如：/data/big-whale/storage “支持Flink任务代理用户”“流处理任务黑名单”和“批处理任务黑名单”为内部定制的任务分配规则，勿填 5、添加代理 集群管理->代理管理->新增 可添加多个实例（仅支持IP地址，可指定端口号，默认为22），执行脚本的时候会随机选择一个实例执行，在实例不可达的情况下，会继续随机选择下一个实例，在实例均不可达时执行失败 选择集群后，会作为该集群下提交Spark或Flink任务的代理之一 6、添加集群用户 集群管理->集群用户->新增 该配置的语义为：平台用户在所选集群下可以使用的Yarn资源队列（--queue）和代理用户（--proxy-user） 7、添加计算框架版本 集群管理->版本管理->新增 同一集群下不同版本的Spark或Flink任务的提交命令可能有所不同，如Spark 1.6.0版本的提交命令为spark-submit，Spark 2.1.0版本的提交命令为spark2-submit
AI基础软件架构峰会资料 共17份
02-28
AI基础软件架构峰会资料 共17份 内容如下： 构建高效易用的图深度学习平台 超大模型高效训练的分布式框架Whale 当我们谈论框架时，我们在谈论什么？ 飞桨：源于产业实践的开源深度学习平台 建立公开数据集标准，赋能AI工程化落地 字节跳动机器学习系统云原生落地与实践 XDL训练系统的演进 NVIDIA GPU架构下稀疏特性的实践与挑战 稀疏模型训练引擎-DeepRec OpenMLDB：为AI工程化落地高效供给正确数据 Maximizing Parallelism in Distributed Training for Huge Neur AI芯片软件栈技术挑战和初探 Milvus+Towhee：向量数据库及embedding流水线 快手八卦！突破 PyTorch、TensorFlow并行瓶颈的训练加速框架到底是啥？ 基于GPU的超大规模离散模型训练框架PaddleBox、FeaBox MegEngine DTR 技术与训练框架技术创新
分布式系统架构落地与瓶颈突破
12-08
高翔龙，杭州云集微店架构师，基础架构组负责人，负责基础技术平台的架构设计和中间件研发等工作，技术书籍《Java虚拟机精讲》作者，热衷于开源技术，常年游走在Github上。 《人人都是架构师：分布式系统架构落地与瓶颈突破》适用于任何对分布式系统架构感兴趣的架构师、开发人员以及运维人员。相信阅读《人人都是架构师：分布式系统架构落地与瓶颈突破》你将会有知其然和知其所以然的畅快感。
一键解锁，2022阿里顶会创新技术前沿进展
阿里技术
08-05 3438
聚焦顶会，一键解锁2022阿里创新技术前沿进展
大规模并行分布式深度学习
科技很有意思
04-25 968
如何实现大规模并行分布式深度学习成为深度学习的研究热点，从而成为推动算法创新的关键的人工智能工程能力。
AI周报 | “阿里灵杰”助力画出AI增长的第二曲线；腾讯提出“神农模型”获CLUE榜单！
m0_60673947的博客
10-22 1011
一、最新论文解读 1.CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis 基于样式的 GAN（StyleGAN）架构在生成高质量图像方面取得了最先进的结果，但它缺乏对相机姿势的明确和精确控制。最近提出的基于 NeRF 的 GAN 在 3D 感知生成器方面取得了很大进展，但它们还无法生成高质量的图像。本文介绍了 CIPS-3D，这是一种基于样式的 3D 感知生成器，由浅层 NeRF
一位阿里资深大佬对深度学习框架的见解
weixin_40920183的博客
08-01 388
作者 | 林伟，阿里云智能研究员来源|AI前线最近人工智能得到了爆发式的发展，这个背后的主要的原因，就是因为互联网的发展速度之快，使得我们能够快速的堆积数据，同时加上硬件的快速发展，以...
仅用 480 块 GPU 跑出万亿参数！全球首个“低碳版”巨模型 M6 来了
CSDN资讯
06-25 4797
继今年 3 月阿里达摩院发布国内首个千亿参数多模态大模型 M6（MultiModality-to-MultiModality MultitaskMega-transformer，以下简称 ...
How to collect data
在路上
01-04 1148
How to collect data
How to understand the Trusted Intelligent Computing Service in Huawei Cloud
在路上
01-02 1100
How to understand the Trusted Intelligent Computing Service in Huawei Cloud
How to understand DataArts Insight in Huawei Cloud
在路上
01-02 879
How to understand DataArts Insight in Huawei Cloud
How to understand ModelArts in Huawei Cloud
在路上
12-29 873
How to understand ModelArts in Huawei Cloud
How to understand Exchange Data Space in Huawei Cloud
在路上
01-02 825
How to understand Exchange Data Space in Huawei Cloud
Do you know about domestic CPUs
最新发布
在路上
01-05 720
Do you know about domestic CPUs
How to understand privacy computing
在路上
01-03 706
How to understand privacy computing
How to understand Data Mining
在路上
01-02 681
How to understand Data Mining
鲸鱼优化-delm 深度学习极限学习机
11-27
鲸鱼优化（Whale Optimization Algorithm）是一种模拟鲸鱼群体行为的优化算法，灵感来自于鲸鱼群体中个体之间的协同行动。该算法结合了全局搜索和局部搜索的优点，能够有效地寻找复杂问题的最优解。 深度学习是一种基于人工神经网络的机器学习方法，通过多层次的神经元结构进行模式识别和数据分析。而极限学习机（Extreme Learning Machine）是一种以单隐层前馈神经网络为基础的机器学习算法，其强调快速训练和相对较少的参数调整。 鲸鱼优化-delm深度学习极限学习机结合了鲸鱼优化和深度学习极限学习机的特点，具有以下优势： 首先，鲸鱼优化算法通过模拟鲸鱼群体的行为，能够在解空间中进行全局搜索，从而找到问题的全局最优解或者接近最优解的解。这对于复杂的深度学习模型参数优化非常有帮助。 其次，极限学习机作为深度学习的一种变种，具有快速训练和较少参数调整的特点。这意味着鲸鱼优化-delm深度学习极限学习机在解决深度学习问题时，具有更高的效率和更好的可扩展性。 最后，鲸鱼优化-delm深度学习极限学习机的结合，能够同时发挥两者的优点，既能进行全局搜索，又能实现快速训练和调整参数。这使得算法在解决复杂问题时更加灵活和高效。 综上所述，鲸鱼优化-delm深度学习极限学习机是一种能够有效解决深度学习问题的优化算法，其集成了鲸鱼优化和极限学习机的特点，具有全局搜索和快速训练的优势，对于提高深度学习模型的性能和效率具有重要意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qwfys200

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值