AI Infra简单记录

已于 2024-07-02 20:40:15 修改
阅读量104 收藏
点赞数 1
文章标签： 人工智能
于 2024-06-29 15:05:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34562093/article/details/140064625
版权

向量数据库的作用

1. 在AI大模型训练过程中，向量数据库可以有效提升数据检索、特征提取等任务的效率。

2、在AI大模型推理过程中，向量数据库为大模型提供外挂知识库，提升模型时效性与准确性，提供缓存能力，减少调用开销，提升响应速度等。

3、大模型训练框架

pytorch DDP

微软deepspeed

英伟达megatron-lm

傅里叶、
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Google Cloud Platform Certification Course: Core Infra
禅与计算机程序设计艺术
10-14 232
Google Cloud Platform (GCP) 是一个基于Google新推出的云服务平台。该平台主要提供各种计算资源、存储资源、数据库资源、网络资源等多种基础设施的部署和管理服务。在全球范围内的广泛使用，已经成为世界各大企业的最佳选择。作为一款云服务提供商，Google不仅要提供完整的产品系列，还需要提供完善的培训课程给IT从业人员，让他们能够快速、高效地掌握云计算平台的相关知识技能。
走近 AI Infra 架构师：在高速飞驰的大模型“赛车”上“换轮子”的人
金融机器智能社区
03-19 1512
1% 的训练提速，或者几秒之差的故障恢复时间，累积起来，都能影响到几百万的成本。
从GFS到GPT，AI Infra的激荡20年
高德技术
05-11 559
导读最近AIGC和LLM的浪潮层层迭起，大有把AI行业过去十年画的饼，一夜之间完全变现的势头。而AI Infra（构建AI所需的基础设施），也成了讨论的焦点之一。大众对AI Infra的关注点，往往放在AI算力上——比如A100/H100的芯片封锁；比如马斯克又买了一万张GPU，等等。算力无疑是AI浪潮中至关重要的一环，然而AI Infra并不只与算力相关。冰冻三尺非一日之寒，正如GPT并不是突然...
Google被逼再返开源战场；AI infra行业全景图；12个RAG痛点及解决建议；魔搭课程·七天入门LLM大模型 | ShowMeAI日报
weixin_42907150的博客
03-20 827
…
DLRover：蚂蚁开源大规模智能分布式训练系统
AI_Infra的博客
03-06 604
本文整体介绍了 DLRover 的项目动机与核心能力，未来我们会发布一系列文章，来从同步/异步弹性训练，优化策略服务，多种集群和训练框架对接，策略定制开发等多个角度来介绍 DLRover 的更多细节，敬请期待。
飞浆AI studio人工智能课程学习（1）-大模型时代&优质Prompt
Medlar_CN的博客
05-17 1537
飞浆AI studio人工智能课程学习（1）-大模型时代&优质Prompt
Imbue-70B 的 AI Infra：从0到1搭建和运维4088 H100集群的最佳实践
人工智能曾小健
08-09 694
其他没有有用错误信息的响应实例通常可能与硬件相关，为了区分 NCCL 挂起，驱动进程挂起或 Python 代码中的死锁等问题，作者使用 Py-Spy 和 GDB 等工具来实时调试 Hang 住的进程，使用此方法能够捕获一些特定的问题。对于给定的训练任务，提供比运行所需 Node 多 10%-20% 的 Node 很有帮助（PS：阿里最新的 HPN 中，甚至牺牲无收敛性，为每 128 个 Node 提供了 8 个物理冗余备份），这样就可以在有 Node 故障时轻松重启作业。
国内AI大模型已近80个，哪个最有前途？
2401_85325557的博客
08-02 413
利益无关：因为我没有在做基础大模型（做的是 infra 和应用层），目前也没有做国内市场，所以可以从相对中立的角度提供一些信息。创业几个月，发现可以比普通大厂员工拿到多很多的信息，从投资人和全球 top AI 公司的核心成员那里可以学到很多。综合在美国三个月得到的信息，虽然 Robin 说国内已经有上百家做基础大模型的，但由于基础大模型本身是相对同质化的产品，最后，其他的市场份额只能算是 others。目前国内大多数大模型创业公司才刚开始半年，一切都还没有尘埃落定，有些隐藏的高手还在默默憋大招。
AI Infra论文阅读之将流水线并行气泡几乎降到零（附基于Meagtron-LM的ZB-H1开源代码实现解读）
I good vegetable a!
02-04 1728
大概就是说这个paper提出了一个新的流水线调度算法，实现了流水线并行同步训练时的的零气泡。我理解这里的同步训练指的就是1F1B中一个 batch 内的所有 micro-batch 的数据遇到的模型都是同一个版本的模型。然后这个改进基于一个关键的观察就是反向计算可以分成两部分，一部分计算输入的梯度，另一部分计算参数的梯度。此外paper还提到，他们开发了一个算法可以根据特定模型配置和内存限制自动找到最佳调度。另外，为了实现真正的零气泡，作者引入了一种新技术来绕过优化器步骤中的同步。
infra-ru：INFRA的俄语本地化
02-04
"localization"是本地化的另一个术语，强调了这一过程不仅仅是简单的语言转换，还包括调整日期、时间、货币格式、度量单位等，甚至可能包括适应不同地区的法律法规和用户界面布局。 "infra Stalburg"可能是指一个...
infra
03-28
简单的例子 参见 。 用法 从 ： program . option ( '-c, --config <file>' , 'Configuration file' ) program . command ( 'build' ) program . command ( 'start [args...]' ) . option ( '-p, --port <port>'...
C/C++开发，opencv内置背景减除算法与运动检测
最新发布
技术需要分享
08-14 652
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
Spark MLlib 特征工程(上)
08-14 1754
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 507
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
一键生成民谣的AI音乐工具来了！
Nonsense_man的博客
08-12 237
今天分享一个可以在线免费生成音乐的AI工具。 工具使用的是「豆包」 很多人可能用过豆包写作，或者作图，但最近上线了AI音乐生成功能。
ubuntu22.04 安装 ros1
qq_35547879的博客
08-14 202
原先只知道ros1 noetic 只支持到ubuntu20.04。现在系统必须升级到ubuntu22.04。
阿里推出视频 AI 生成式框架 Tora，通过轨迹生成视频
qq_57728300的博客
08-13 506
阿里集团推出面向轨迹的视频生成框架 Tora，可以生成精美的视频。
叉车指纹锁系统 指纹识别启动车辆 让管理更轻松！
jiuxindianzi的博客
08-12 358
叉车指纹系统通过指纹认证管理叉车，降低安全事故，强化安全管理。支持指纹、刷卡识别，云端数据管理。适用于油电叉车，安装需连接特定线路，提高叉车管理效率。
AI INFRA面试
05-29
AI INFRA是指人工智能基础设施，包括硬件和软件两个方面。在AI INFRA面试中，可能会涉及到以下内容： 1. 计算机体系结构：了解常见的CPU、GPU、TPU等处理器的特点和适用场景，以及它们的优缺点。 2. 操作系统和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值