AWS宣布推出AWS Trainium,这是专门用于训练机器学习模型的下一代定制芯片,同时AWS还承诺通过对 TensorFlow、 PyTorch 和 MXNet 的支持,可以提供比任何竞争对手更高的云服务性能。
一直以来,机器学习都受到大大小小的限制。
模型的大小、速度以及昂贵的硬件,都是难以突破的瓶颈。
据MIT的一份报告指出,机器学习的相关研究很可能正在接近计算的极限。OpenAI 花费了1200万美元来训练它的 GPT-3语言模型,谷歌花费了大约6912美元来训练BERT。
AWS可能要提供更高的性价比。
在昨日的re:Invent开发者大会上,AWS发布了其设计的第二款定制的机器学习芯片–AWS Trainium。该公司承诺,它可以提供比云端任何竞争对手更高的性能,同时也支持 TensorFlow、PyTorch 和 MXNet等。
除了提供最具性价比的机器学习训练方案之外,Trainium 还提供了最高性能的计算能力 ,并支持更广泛的机器学习应用。
新一代定制芯片AWS Trainium,让模型推理成本再降45%
这款定制芯片的主要优势是速度和成本,AWS 承诺与标准 AWS GPU 实例相比,吞吐量提高30% ,每次推断的成本降低45% 。
Trainium 这款芯片还专门针对深度学习训练工作负载进行了优化,包括图像分类、语义搜索、翻译、语音识别、自然语言处理和推荐引擎等。它将以EC2(亚马逊弹性计算云)实例的形式出现在亚马逊的机器学习平台 SageMaker 中,基于这些定制芯片的新实例将于明年正式推出。
随着机器学习领域的加速进展,迫切需要提高性能,降低由推理和训练驱动的基础设施成本。就在去年,AWS 推出了AWS Inferentia,为客户提供低成本高性能的