有点震惊,谷歌也开始拥抱英伟达的GPU了!
尽管有着自家的TPU,但为了更好地市场竞争,英伟达的GPU终究是绕不开(皮衣客黄教主尽情笑吧!)
近日,谷歌抖了大料:不仅推出了云端的GPU,把AI引进了Serverless,同时赠送了几个开源大模型以供开发者进行部署和微调。
这对开源大模型爱好者们而言是一个重大利好:省事更省钱了。
这相当于不管是硬件的算力,还是软件层面的大模型,谷歌直接给出了一个完整的全家桶,不必再苦于本地设备的能力不足,而不能体验性能领先的开源大模型了!在此基础上,开源开发者可以创建自己的Copilot、智能体等应用程序。
1.谷歌推出云端GPU,附带开源LLM
如果你热爱开源AI,但却没有在本地运行AI模型的计算能力,谷歌今天的消息的确令人兴奋。
据悉,谷歌正在将英伟达的L4 GPU引入其云服务。L4 GPU是H100 GPU的轻量级版本,曾用于训练Meta的Llama 3.1和OpenAI的GPT-4o模型。
开发者可以登录谷歌的Cloud Run,在容器中加载Ollama,启动开源LLM,如谷歌的Gemma 2或Meta的Llama 3.1,指向L4 GPU,然后进行推理。具体指令将在下文提供。
2.将 AI 引入无服务器世界
Cloud Run是 Google 的全托管无服务器平台,由于能够简化容器部署和管理,因此一直受到开发人员的青睐。然而,人工智能工作负载(尤其是需要实时处理的工作负载)的需求不断增加,凸显了对更强大的计算资源的需求。
GPU 支持的集成将为 Cloud Run 开发