- 博客(3)
- 收藏
- 关注
RSS订阅原创 昇腾架构及编程模型解读-I
计算单元是AI Core中提供强大算力的核心单元，相当于AI Core的主力军，主要包括：Cube Unit（矩阵计算单元）、Vector Unit（向量计算单元）和Scalar Unit（标量计算单元），完成AI Core中不同类型的数据计算。Ascend C编程范式把算子内部的处理程序，分成多个流水任务（Stage），以张量（Tensor）为数据载体，以队列（Queue）进行任务之间的通信与同步，以内存管理模块（Pipe）管理任务间的通信内存。不同的流水任务之间存在数据依赖，需要进行数据传递。
2024-07-05 15:25:39
2270
原创 大模型时代来临，GPGPU vs NPU架构路线对比
从CV领用开始兴起，到自然语言处理、生成对抗模型，再到现在蓬勃发展的大语言模型，随着人工智能大模型的快速发展，算力需求呈现出爆发式增长，传统的CPU芯片已经无法满足算力增长的需求，异构加速卡成为当前大模型领域最常用的计算硬件。为了更好的了解的国内外主流的大模型AI芯片，本文以NVIDIA A100 GPGPU和华为Ascend 910B NPU为例，详细对比分析GPGPU和NPU底层硬件架构和设计的区别，对比分析硬件参数信息及软件生态等，并探讨其在AI大模型等应用领域中的优势和劣势。
2024-06-25 10:43:49
2829
原创 AI淘金热，谁才是更有力的钻头？：GPGPU vs NPU
目前，GPGPU在深度学习领域有着成熟的软件生态，如CUDA、DTK等，这些工具和库极大地方便了研究人员和工程师进行模型的开发和优化。它通过self-attention机制，让模型在一次计算中考虑序列中所有词之间的关系，而不是像传统的RNN那样逐步处理序列，这种机制特别适合并行计算，提高了模型的效率和性能，同时能够更好地处理长距离依赖关系。自注意力机制需要进行大量的矩阵运算，而GPGPU擅长处理这种大规模的并行计算任务，能够显著加速Transformer模型的训练和推理过程。）的基础上发展而来的。
2024-05-20 10:42:59
1610
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人