无需本地部署！免费使用开源大模型API

之前，我给大家分享过几篇关于如何在本地部署开源大模型以及应用场景的文章。比如说，给本地大模型添加知识库、API的调用等等。

在这个过程中，有粉丝反馈自己不会部署，或者电脑配置不好，想知道还有没有办法使用这些开源大模型。今天就来分享一个免费且无门槛使用各种主流开源模型及其API的方法，让你不用在本地部署开源模型，也可以在各种第三方应用中调用这些模型，例如翻译插件、Dify的工作流、对话应用等等。这些场景下都可以用这个方法来省钱。

我们今天要用的平台名字叫Groq。

https://groq.com/

Groq是一个AI硬件的云平台，类似于国内的阿里云和微软的Azure这样的云计算平台，可以给不同的企业提供云服务器或云计算服务。Groq最大的特色就是它的计算速度非常快，而且运行成本非常低。如果和英伟达的GPU去做对比，它的推理速度是GPU的十倍以上，但运行成本计算成本仅仅是它的1/10不到。

直接给大家感受一下Groq的一个推理速度。这里我先找一篇文章，全选后复制给Groq，让他翻译成英文

用Llama3 70B版本作为演示，看一下它的输出速度。这里大家可以感受一下，大概就是3秒到4秒左右，就把一篇文章给我们翻译成英文，这个速度真的是非常的快。

整体的完成质量、速度都非常OK。然后我们再看右上角，它是有消耗跟速度的显示。我们的输入是1707个TOKEN，输出的话是1040个TOKEN。那么总共的用时是3.93秒，也就是它输出仅仅是花了4秒不到，就把这篇文章给我们翻译出来了。

我们再来演示一个案例，就是让它来撰写一篇文章，以《AI如何让半年的努力胜过十年的平庸》为主题，写一篇1000个字左右的文章，再来感受一下它的一个速度。那这次我们切换一个模型，比如说我把它改成Llama3 8B的80亿参数，它的速度就可以做到更快。我们来感受一下，已经完成了，几乎就是一刹那之间。

那么在Groq这个平台上，我们就可以直接免费地去使用这些开源的大模型。那除了在线直接使用，它还给我们提供了API的调用方式。这里我们可以在底部菜单点击这个Groq Cloud，它给我们提供了一个Playground还有一个API的调用接口，我们可以直接进去看一下。

首先是Playground，和其他的大模型平台的Playground也都类似。我们直接看右边，它支持的这些模型，谷歌的、Meta的、还有Mixtral的，它都是支持的。大家这边其实还可以看到，它还支持免费调用OpenAI的Whisper这个语言模型，就是把语音进行转录，这个也是可以免费使用的。

接下来，我们就来分享一下在第三方的应用当中去调用这些开源大模型的API。不管是说在浏览器的插件，还是在桌面的应用当中，或者说在第三方的云服务平台里面去用，像Dify的工作流里面去调用它里面的开源模型的API。

我们来看一下，在这里可以看到左侧菜单，它是有API KEY，也就是在这里我们可以去免费创建API KEY，并且在第三方当中调用。而且Groq这个平台的API接口，它和OpenAI的API接口是一样的。这也就意味着，只要是兼容OpenAI API接口的这种第三方应用，它也可以兼容Groq的API接口。

在这里，我们可以去创建一个API key。那么创建完成以后，我们就可以获得这样一个key。这个key在你创建的时候就要保存，因为当您把创建key的页面关闭之后，后面就没有办法再去复制了。这点大家稍微注意一下。

下面我们在dify中调用一下这个api key做一个简单测试

秒回复，真的是快啊

目前Groq平台它是没有收费的，但是略微做了一些限制。我们在这边创建好的API key它是有一个使用上限的，可以在设置里面的limits看一下。

这个数量对于个人用户来说，简直就是用不完。

这就是今天关于Groq平台的介绍，给我们提供了在线的免费的开源大模型，还给我们提供了免费的API接口供我们在第三方应用当中去调用它。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓