近日,天数智芯与无问芯穹联合将无问芯穹的Infini-AI异构云平台成功部署于天数智芯智铠100 GPU推理集群,实现了多种主流大模型在自主GPU百卡推理集群上的全功能适配,并正式对外提供MaaS服务。目前,该推理集群已在Infini-AI异构云平台上线,适用于从学术研究到行业应用的各场景大模型推理。
本次合作,是无问芯穹自今年7月与天数智芯等企业联合完成千卡异构混训,并将异构云平台打造成全球首个可进行单任务千卡规模异构芯片混合训练的平台之后,再次与天数智芯联手完成的大模型百卡级推理集群接入与兼容工作。这一系列联合行动验证了天数智芯自主研发的通用GPU产品——智铠100能够以媲美国际主流产品的性能表现,高效完成各种大模型训练与推理任务。
经过无问芯穹与天数智芯严格的功能和性能测试,双方现已完成智铠100 GPU产品与无问芯穹Infini-AI异构云平台的全面接入。该集群已适配对话问答、数据标注、内容理解与分析,信息抽取等主流任务场景,兼容国内外主流AI生态,灵活支持各种算法模型,满足文本、图片、视频等多场景下的大规模实时推理需求。
当前,智铠100现已在无问芯穹Infini-AI异构云平台上架,且支持70B以上的模型推理,可用于更佳效果的数据生成与处理。Infini-AI异构云平台是无问芯穹推出的高性能算力和原生工具链平台,其中大模型服务平台可为应用开发者提供各种高性能、易上手、安全可靠的大模型服务,能力覆盖了从大模型开发到大模型服务化部署的全流程。现已收录包括Stabl