EdgeCortix 推出SAKURA-II，助力边缘生成式AI发展

EdgeCortix Inc. 是一家专门从事边缘节能 AI 处理的无晶圆厂半导体公司，今天推出了其下一代 SAKURA-II 边缘 AI 加速器。

这个最先进的平台与 EdgeCortix 创新的第二代动态神经加速器 （DNA） 架构相结合，旨在解决业内最具挑战性的生成式 AI 任务。SAKURA-II 专为灵活性和能效而设计，使用户能够无缝管理各种复杂任务，包括大型语言模型 （LLM）、大型视觉模型 （LVM） 和基于多模态转换器的应用程序，即使在边缘严格的环境限制下也是如此。SAKURA-II 具有低延迟、一流的内存带宽、高精度和紧凑的外形尺寸，可在各种边缘 AI 应用中提供无与伦比的性能和成本效益。

SAKURA-II 非常适合制造、工业 4.0、安全、机器人、航空航天和电信行业的众多用例，采用 EdgeCortix 最新一代运行时可重构神经处理引擎 DNA-II。利用这种高度可配置的知识产权模块，SAKURA-II 提供电源效率和实时处理能力，同时以低延迟执行多个深度神经网络模型。SAKURA-II 可以提供高达 60 万亿次/秒操作 （TOPS） 的有效 8 位整数性能和 30 万亿次 16 位脑浮点运算 （TFLOPS），同时还支持内置的混合精度，以处理下一代 AI 任务的严格要求。

SAKURA-II 平台具有先进的 MERA 软件套件，具有异构编译器平台、高级量化和模型校准功能。该软件套件包括对 PyTorch、TensorFlow Lite 和 ONNX 等领先开发框架的原生支持。MERA灵活的主机到加速器统一运行时，擅长在边缘的单芯片、多芯片和多卡系统之间进行扩展，从而大大简化了AI推理并缩短了数据科学家的部署时间。此外，与MERA模型库的集成，以及与Hugging Face Optimum的无缝接口，使用户能够访问各种最新的Transformer模型，确保从训练到边缘推理的平稳过渡。

EdgeCortix首席执行官兼创始人Sakyasingha Dasgupta表示：“SAKURA-II令人印象深刻的60 TOPS性能，在典型功耗的8W范围内，结合其混合精度和内置内存压缩功能，使其成为边缘最新生成式AI解决方案的关键技术。“无论是运行传统的AI模型，还是最新的Llama 2/3、Stable-diffusion、Whisper或Vision-transformer模型，SAKURA-II都能以卓越的每瓦性能和成本效益提供部署灵活性。我们致力于确保满足客户的不同需求，并确保在快速发展的人工智能领域保持强大和适应性的技术基础。

SAKURA-II的主要优点包括：

• 针对生成式 AI 进行了优化：专为在边缘处理生成式 AI 工作负载而量身定制，功耗最低。
• 复杂模型处理：能够在 2W 的典型功率范围内管理数十亿个参数模型，如 Llama 8、Stable Diffusion、DETR 和 ViT。
• 无缝软件集成：与 EdgeCortix 的 MERA 软件套件完全兼容，有助于从模型训练到部署的无缝过渡。
• 增强的内存带宽：提供比竞争对手 AI 加速器高出 4 倍的 DRAM 带宽，确保 LLM 和 LVM 的卓越性能。
• 实时数据流：针对实时数据流条件下的低延迟操作进行了优化。
• 高级精度：提供软件支持的混合精度支持，精度接近 FP32。
• 稀疏计算：支持稀疏计算，以减少内存占用并优化带宽。
• 多功能：支持具有硬件近似的任意激活功能，以增强适应性。
• 高效的数据处理：包括一个专用的 Reshaper 引擎，用于管理片上复杂的数据排列并最大限度地减少主机 CPU 负载。
• 电源管理：具有片内电源门控和电源管理功能，可实现超高效率模式。

SAKURA-II将作为独立设备提供，两个不同的M.2模块具有不同的DRAM容量，单和双设备薄型PCIe卡。客户可以立即预订 M.2 模块和 PCIe 卡，以便在 2024 年下半年交付。