![](https://img-blog.csdnimg.cn/3fcd85ce5ee5441b9702ca3cfe9e53d6.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
开源技术
文章平均质量分 92
阿里云大数据&AI开源项目合集,了解全部阿里云AI&大数据开源项目,欢迎大家订阅!
阿里云大数据AI技术
分享阿里云计算平台的大数据和AI方向的技术创新、实战案例、经验总结。
展开
-
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
等功能,有效降低了大规模稀疏模型训练的技术门槛和成本,同时提升了分布式训练的效率和稳定性。DeepRec Extension 简化分布式训练的工作流程,保障用户聚焦于模型的构建阶段,更加专注于模型本身的创新与优化,无需关注繁琐的底层架构配置。DeepRec Extension 在 DeepRec 训练推理框架之上,围绕大规模稀疏模型分布式训练,创新性地从训练任务的视角提出了自动弹性训练和分布式容错功能,进一步提升稀疏模型训练的整体效率,助力 DeepRec 引擎在稀疏场景中发挥更大的优势。原创 2024-05-23 09:27:34 · 327 阅读 · 0 评论 -
视频生成框架EasyAnimate正式开源!
近期,Sora模型的热度持续上涨,社区中涌现了一些类Sora的开源项目,这些项目均基于Diffusion Transformer结构,,旨在生成更长、更高分辨率、且效果更好的视频。EasyAnimate是阿里云人工智能平台PAI自主研发的DiT-based视频生成框架,它提供了。在预训练模型的基础上,EasyAnimate可通过少量图片的LoRA微调来改变生成视频的风格,相比已有方案具有更好的扩展性和完整性。原创 2024-06-04 09:48:19 · 1452 阅读 · 0 评论 -
【推文】企业级AI问答知识库训练营,火热开营中!
大语言模型具备强大的逻辑推理、对话能力,如何结合企业自身数据搭建问答知识库,是很多企业关注的话题。本次实战营汇聚多位阿里云技术专家,基于人工智能平台PAI、实时数仓Hologres,手把手带您从LLM入门到数据向量化处理再到模型在线部署,了解企业级AI问答知识库搭建全流程。免费试用:超万元阿里云资源免费领取小班交流:资深专家全程陪伴,手把手带您入门到实践深度体验:完成企业专属AI问答知识库搭建精美好礼:LAMY钢笔、小米充电宝等你来拿!💎12月28日(周四)原创 2024-01-09 11:30:38 · 424 阅读 · 0 评论 -
SREWorks数智运维平台开源一周年 | 回顾与展望
开源这一年,我们聊一聊。原创 2023-03-02 16:53:04 · 561 阅读 · 0 评论 -
EasyNLP集成K-Global Pointer算法,支持中文信息抽取
本⽂简要介绍K-Global Pointer的技术解读,以及如何在EasyNLP框架中使⽤K-Global Pointer模型。原创 2023-02-24 11:26:16 · 545 阅读 · 0 评论 -
QCon演讲实录(上):多云环境下应用管理与交付实践
浅谈在当前的多云环境中,作为运维支撑团队,如何在分裂严重、存在多个不同环境的异构Kubernetes底座情况下,高效率地管理与交付业务应用,是一个值得探讨的话题。原创 2023-02-13 10:35:28 · 733 阅读 · 0 评论 -
阿里云PAI-Diffusion功能再升级,全链路支持模型调优,平均推理速度提升75%以上
本⽂首先介绍如何体验PAI-Diffusion模型以及其在线部署、加速推理能力。其次,我们简单回顾了PAI-Diffusion模型的架构,之后详细介绍了在EasyNLP算法框架中对上述模型进行调优的全链路支持。原创 2023-02-08 10:02:46 · 700 阅读 · 0 评论 -
当我们在谈论DataOps时,我们到底在谈论什么
DataOps 作为一种数据管理方式,利用 DevOps 方法论对数据的全生命周期进行管理,通过数据平台把数据变成一种服务能力,进而提升数据的使用效率,实现数据持续用起来的目标。原创 2023-01-12 10:40:54 · 664 阅读 · 0 评论 -
基于单机最高能效270亿参数GPT模型的文本生成与理解
针对GPT基础模型参数量大,训练&推理硬件资源消耗过高等问题,我们采用GPT+MoE的技术架构路线,探索单机最高能效的绿色低碳GPT大模型训练&推理软硬一体化适配技术在中文文本生成场景的落地可行性。原创 2023-01-09 13:06:33 · 1158 阅读 · 0 评论 -
SREWorks v1.4 版本发布 | 离线安装 & 前端重构
在 v1.3 版本之后,SREWorks 团队收集了较多的用户反馈,大家普遍对于 SREWorks 的内网离线安装有较大的诉求。于是团队决定进一步增强这部分的安装能力。原创 2023-01-06 10:22:46 · 616 阅读 · 0 评论 -
BEVFormer-accelerate:基于EasyCV加速BEVFormer
BEVFormer是一种纯视觉的自动驾驶感知算法,通过融合环视相机图像的空间和时序特征显式的生成具有强表征能力的BEV特征,并应用于下游3D检测、分割等任务,取得了SOTA的结果。原创 2022-12-13 13:44:03 · 816 阅读 · 0 评论 -
PAI-Diffusion模型来了!阿里云机器学习团队带您徜徉中文艺术海洋
PAI-Diffusion系列模型,包括一系列通用场景和特定场景的文图生成模型,本⽂简要介绍PAI-Diffusion模型及其体验方式。原创 2022-12-12 13:44:09 · 859 阅读 · 0 评论 -
全面支持 PyTorch 2.0:BladeDISC 5 月~11 月新功能发布
BladeDISC 上一次更新主要发布了 GPU AStitch 优化,方法来源于我们发表在 ASPLOS 2022上的论文AStitch。这一次,我们发布了 0.3.0 版本。本文描述 BladeDISC v0.3.0 版本对于 v0.2.0 的主要更新内容。原创 2022-12-09 10:26:02 · 909 阅读 · 0 评论 -
SREWorks 数智服务尝鲜,你的数据准备好了吗?
一个轻量化的数智服务方案,解决像热点机器等一些常见的运维痛点问题。让用户快速体验SREWorks的数智能力,领略数智化运维的魅力。原创 2022-11-24 11:00:26 · 461 阅读 · 0 评论 -
使用EasyCV Mask2Former轻松实现图像分割
EasyCV可以轻松预测图像的分割谱以及训练定制化的分割模型。本文主要介绍如何使用EasyCV实现实例分割、全景分割和语义分割,及相关算法思想。原创 2022-11-16 10:12:44 · 1148 阅读 · 0 评论 -
当大火的文图生成模型遇见知识图谱,AI画像趋近于真实世界
模型免费开放!零基础也能一键进行AI艺术创作。本⽂简要介绍ARTIST的技术解读,以及如何在EasyNLP框架中使⽤ARTIST模型。原创 2022-11-10 10:04:07 · 513 阅读 · 0 评论 -
EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT
本⽂简要介绍CKBERT的技术解读,以及如何在EasyNLP框架、HuggingFace Models和阿里云机器学习平台PAI上使⽤CKBERT模型。原创 2022-10-19 10:10:34 · 958 阅读 · 0 评论 -
EasyCV DataHub 提供多领域视觉数据集下载,助力模型生产
EasyCV汇总了不同领域的常用数据集的介绍和下载地址,方便用户快速下载数据集进行论文指标对齐、模型效果对比、以及实际场景下的模型训练。原创 2022-10-12 09:52:13 · 1012 阅读 · 0 评论 -
DeepRec 大规模稀疏模型训练推理引擎
本文将从DeepRec背景、DeepRec功能和DeepRec社区三个方面展开描述。原创 2022-10-08 16:56:16 · 663 阅读 · 0 评论 -
EasyNLP带你实现中英文机器阅读理解
本⽂将提供对MacBERT模型的技术解读,以及如何在EasyNLP框架中使⽤MacBERT及其他预训练语言模型,进行中英文机器阅读理解任务的训练与预测。原创 2022-09-28 10:49:03 · 469 阅读 · 0 评论 -
跨模态学习能力再升级,EasyNLP电商文图检索效果刷新SOTA
本⽂简要介绍我们在电商下对CLIP模型的优化,以及上述模型在公开数据集上的评测结果。最后,我们介绍如何在EasyNLP框架中调用上述电商CLIP模型。原创 2022-09-27 10:44:01 · 2466 阅读 · 0 评论 -
EasyCV带你复现更好更快的自监督算法-FastConvMAE
近期FastConvMAE工作在EasyCV框架内首次对外开源,本文将重点介绍ConvMAE和FastConvMAE的主要工作,以及对应的代码实现,最后提供详细的教程示例如何进行FastConvMAE的预训练和下游任务的finetune。原创 2022-09-23 10:24:48 · 554 阅读 · 0 评论 -
EasyNLP玩转文本摘要(新闻标题)生成
本⽂将提供关于PEGASUS的技术解读,以及如何在EasyNLP框架中使⽤与PEGASUS相关的文本摘要(新闻标题)生成模型。原创 2022-09-21 11:10:29 · 1991 阅读 · 0 评论 -
EasyNLP集成K-BERT算法,借助知识图谱实现更优Finetune导读
知识图谱(Knowledge Graph)的概念⾸次出现2012年,由Google提出,它作为⼀种⼤规模语义⽹络, 准确地描述了实体以及实体之间的关系。知识图谱最早应⽤于搜索引擎,⽤于准备返回⽤户所需的知识。......原创 2022-08-15 10:25:57 · 638 阅读 · 0 评论 -
EasyNLP中文文图生成模型带你秒变艺术家
我们在EasyNLP框架中集成了中文文图生成功能,同时开放了模型的Checkpoint。原创 2022-07-28 11:47:01 · 405 阅读 · 0 评论 -
【ICDE 2022】阿里发布稀疏模型训练框架HybridBackend,单位成本下训练吞吐提升至5倍
近日,阿里巴巴投稿的论文《PICASSO: Unleashing the Potential of GPU-centric Training for Wide-and-deep Recommender Systems》被数据库和数据挖掘方向CCF-A类国际三大顶会之一的ICDE 2022 (International Conference on Data Engineering) 接收。原创 2022-05-09 10:44:41 · 493 阅读 · 0 评论 -
EasyCV开源|开箱即用的视觉自监督+Transformer算法库
EasyCV背后的算法框架如何设计?开发者可以怎么使用?未来有哪些规划?今天一起来深入了解。原创 2022-04-26 12:48:21 · 368 阅读 · 0 评论 -
阿里巴巴开源大规模稀疏模型训练/预测引擎DeepRec
经历6年时间,在各团队的努力下,阿里巴巴集团大规模稀疏模型训练/预测引擎DeepRec正式对外开源,助力开发者提升稀疏模型训练性能和效果。原创 2022-03-21 14:07:56 · 1604 阅读 · 0 评论 -
阿里 BladeDISC 深度学习编译器正式开源
随着深度学习的不断发展,AI模型结构在快速演化,底层计算硬件技术更是层出不穷,对于广大开发者来说不仅要考虑如何在复杂多变的场景下有效的将算力发挥出来,还要应对计算框架的持续迭代。深度编译器就成了应对以上问题广受关注的技术方向,让用户仅需专注于上层模型开发,降低手工优化性能的人力开发成本,进一步压榨硬件性能空间。阿里云机器学习PAI开源了业内较早投入实际业务应用的动态shape深度学习编译器 BladeDISC,本文将详解 BladeDISC的设计原理和应用。原创 2022-03-04 17:37:46 · 238 阅读 · 0 评论 -
阿里巴巴云原生大数据运维平台 SREWorks 正式开源
阿里巴巴云原生大数据运维平台 SREWorks,沉淀了团队近10年经过内部业务锤炼的 SRE 工程实践,今天正式对外开源,秉承“数据化、智能化”运维思想,帮助运维行业更多的从业者采用“数智”思想做好高效运维。原创 2022-03-22 16:10:19 · 4359 阅读 · 0 评论 -
阿里云机器学习PAI开源中文NLP算法框架EasyNLP,助力NLP大模型落地
EasyNLP 背后的技术框架如何设计?未来有哪些规划?今天一起来深入了解。原创 2022-04-27 10:44:28 · 4220 阅读 · 1 评论