什么是推理和训练AI芯片?

文章介绍了人工智能的两个关键环节——推理和训练,以及对应的AI芯片类型。训练芯片用于构建神经网络模型,而推理芯片分为云端和终端两类,分别服务于数据中心和智能设备。GPU、ASIC和FPGA是不同的芯片架构,各自在性能、能效和灵活性上有不同优势。企业如英伟达、谷歌、赛灵思、英特尔及中国的寒武纪、比特大陆等在AI芯片领域积极布局。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

人工智能的实现包括两个环节:推理(Inference)和训练(Training)。

推理是指利用训练好的模型,使用新数据推理出各种结论。借助神经网络模型进行运算,利用输入的新数据来一次性获得正确结论的过程。这也有叫做预测或推断。

训练是指通过大数据训练出一个复杂的神经网络模型,通过大量标记过的数据来训练相应的系统,使其能够适应特定的功能。训练需要较高的计算性能、能够处理海量的数据、具有一定的通用性,以便完成各种各样的学习任务。

所以根据承担任务的不同,AI芯片可以分为两类,它们分别是训练AI芯片和推理AI芯片。

1、训练芯片:用于构建神经网络模型,注重绝对的计算能力;

2、推理芯片:利用神经网络模型进行推理预测,注重综合指标,单位能耗算力、时延、成本等都要考虑。

推理AI芯片分为哪几类?

根据AI芯片部署的位置分为两种:云端以及终端

云端,即数据中心,在深度学习的训练阶段需要庞大的数据量,以及大运算量,单一处理器是无法独立完成的,因此训练环节仅能够在云端实现。

终端,即手机、汽车、智能家居以及各种物联网设备等执行边缘计算的智能设备。终端的数量庞大,并且需求的差异性明显。

训练推理的完成目前主要集中在云端,但随着越来越多芯片厂商的努力,很多的应用将逐渐转移到终端。

所以,根据部署位置,推理AI芯片又可细分为云端推理AI芯片和终端推理AI芯片

1、云端推理

云端推理AI芯片可作为深度学习推理加速的协处理器,也可作为主处理器从以太网接口或USB接口接收视频流、图片或其它数据,执行推理和其他计算机视觉任务。目前,除了英伟达、谷歌、赛灵思、英特尔等这些国外芯片大厂涉足云端推理芯片外,寒武纪、比特大陆等中国企业同样积极布局该领域。

2、终端推理

目前,终端推理AI芯片主要应用于智能手机、自动驾驶、机器人、智能家居等设备。它可作为深度学习推理加速的协处理器,还可以作为主处理器从以太网接口或USB接口接收视频流、图片或其它数据,执行推理和其他计算机视觉任务。目前,除了英伟达、谷歌、赛灵思、英特尔等这些国外芯片大厂涉足云端推理芯片外,寒武纪、比特大陆等中国企业也在领域进行积极的布局,并取得了不俗的成绩。

芯片分为哪几种?

  • 芯片架构:分为GPU(一般特指GPGPU)、ASIC和FPGA。

GPU 作为最早从事并行加速计算的处理器,具有高并行结构,在处理图形数据和复杂算法方面拥有比 CPU 更高的效率。 

ASIC是一种面向特定应用场景的专有AI芯片,通过算法固化实现极致的性能和能效,平均性能强、功耗低和性价比高,但前期投入大、研发时间较长。 

FPGA是一种半定制化芯片,在制造完成后仍然可以对芯片进行灵活软件功能配置,以满足用户独特需求,具有可编程性、高并行性、低延迟和低功耗等特点,在云端和边缘端的推理领域具有很高的应用潜力。 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值