AI架构设计
文章平均质量分 83
这个专栏主要关注围绕着AI运用于实际的业务场景所需的系统架构设计。整体基于云原生技术,结合开源领域的LLMOps或者MLOps技术,充分运用低代码构建高性能、高效率和敏捷响应的AI中台。
庞德公
多年来在人工智能、数据和技术领域兜兜转转,拥有较强的行业洞察力和技术前瞻力。精通数据流通与数据空间技术,高并发、分布式计算、隐私计算、区块链和自然语言处理技术。
展开
-
AI架构设计7:TGI
vLLM适用于需要高效内存管理和并行计算的大规模语言模型推理,特别是在资源受限的环境中表现优秀。其主要优势在于高效的内存使用和灵活的并行处理能力,但需要细致的配置和优化。而TGI则专注于提升文本生成任务的推理速度,适用于需要高效文本生成的应用场景。其主要优势在于推理速度优化和模型压缩,但主要针对特定任务进行优化,量化可能会影响模型精度。选择哪一个系统取决于具体的应用需求。原创 2024-05-28 16:48:38 · 971 阅读 · 0 评论 -
AI架构设计6:vLLM
今天挑选几个颇具特色的主流部署工具来谈谈,例如vLLM、LLAMA.cpp和TGI等工具,它们各自都提供各自的部署模式,本文对于数据分析师乃至数据科学家,还是刚接触AI部署的新兵,相信可以为读者打开一扇窗户进行快速的了解。原创 2024-05-27 15:51:55 · 1114 阅读 · 0 评论 -
AI架构设计5:CN+AI的三国杀
本文最后的图展示了气势磅礴的AI+CN(云原生)的技术栈,潜藏着无限的杀机。还在云原生的时候,研发和运维一直围绕着Devops进行两国杀。CN+AI的时代,数据科学家加入了战局,彻底变成三国杀。边界的不断互相渗透,全栈的人才最宝贵,抑或要找到新型的跨团队合作模式。原创 2024-05-24 10:00:54 · 879 阅读 · 0 评论 -
AI架构设计4:理解AI云原生
泛AI架构设计这个专栏主要关注围绕着AI运用于实际的业务场景所需的系统架构设计,包括业务数据治理、模型训练与管理、模型部署与调度。整体基于云原生技术,旨在通过开源领域的LLMOps或者MLOps技术,充分运用低代码平台构建高性能、高效率和敏捷响应的AI中台。原创 2024-05-23 19:10:48 · 1065 阅读 · 1 评论 -
AI架构设计3:GPU运算模型
上一章节已经介绍了显卡的基本结构,由内存和计算单元SM组成。那么显卡的运算模型是什么样子?它如何将机器学习的任务转化为合适的运算指令?当然这里不针对Cuda编程展开细节的讨论,但是还是需要对它的运算模型有一定的了解。原创 2024-05-22 12:27:12 · 400 阅读 · 0 评论 -
AI架构设计2:GPU架构分析
在继续设计AI平台的架构设计之前,需要对GPU有着深入的理解。那么就伴随着本栏目深入浅出的学习GPU。从更高维度去看GPU,基本的模型如同下图,一般而言GPU会有PCIe的接口和CPU进行连接。换句话说,就是你拿到了一块GPU,在主板上找到对应的槽口插入即可。原创 2024-05-21 11:40:24 · 1082 阅读 · 0 评论 -
AI架构设计1:概览
AI平台的架构涉及的方面很广,按照系统领域设计可以分为应用服务域、策略管理域、知识管理域、AIops域和算力支撑域。按照基础架构的角度可以分为算力、存储、网络包括GPU集群的调度与搭建。原创 2024-05-19 10:52:14 · 467 阅读 · 0 评论