- 题目:An LPDDR-based CXL-PNM Platform for TCO-efficient Inference of Transformer-based Large Language Models
- 会议:HPCA
- 时间:2024
- 研究机构:三星
本篇论文的主要贡献:
CXL-PNM包含了3部分
- LPDDR-based CXL memory architecture
- CXL-PNM controller architecture integrated with an LLM inference accelerator
- software stack
基于CXL的近存计算平台,LPDDR5X可以达到512GB容量和1.1TBps带宽,实现了一个LLM推理加速器,利用CXL来客服HBM-PIM和AxDIMM等其他技术的缺点,同时实现了CXL-PNM软件栈。