如果你看过我之前的视频,你一定知道我介绍了 Hermes 3模型。Hermes 3模型实际上是Llama 3.1模型的一个新版本,经过了更精细的调优,特别是在编码领域表现更为出色。而405b模型则更进一步,经过更彻底的训练,在编码基准测试中表现优异。然而,最令人惊讶的是,最新的研究使得这个模型可以免费提供一个月的API和chat使用。这意味着我们可以在任何支持自定义OpenAI API端点的应用程序中无限制地使用Hermes 3-405b模型作为我们的copilot,这真是疯狂!
今天,我将向你展示如何使用他们的API,并将其作为一个完全免费的、完全不受限制的共同copilot。虽然他们有自己的API基础URL和密钥可以从他们的网站上获取和配置,但我不会使用那些,因为配置起来可能有些麻烦。相反,我将使用Open Router,因为它在我们将要使用的扩展中有覆盖范围,并且也提供这个模型的免费使用。因此,我将使用它作为聊天界面,而对于自动补全功能,我们可以使用一个较小的本地模型。
准备工作
获取API密钥
首先,前往Open Router并获得一个API密钥。请妥善保管这个密钥,因为后面我们会用到它。
安装Shell GPT
接下来,我们需要安装Shell GPT。打开终端,运行以下命令:
pip install shell-gpt
这将安装Shell GPT。为了使其与Open Router一起工作,我们需要安装Light llm。运行以下命令:
pip install light-llm
安装完成后,运行sgpt命令并输入你的Open Router API密钥。你可能会看到一个错误提示,不用担心,打开sgpt配置文件,修改light llm变量为True,如下所示:
light_llm: True model: open_router__research_hermes_3
保存文件后,Shell GPT应该可以正常工作。你可以使用sgpt
命令来获取文本输出,或者使用shell操作符来获取shell建议。
安装Continue Dev VS Code扩展
接下来,让我们安装Continue Dev VS Code扩展。打开VS Code,进入扩展标签页,搜索Continue Dev并安装。一旦安装完成,你将在侧边栏看到Continue Dev扩展。点击它,你会看到一个界面,点击添加按钮,然后选择兼容OpenAI的其他选项,选择Llama 3.1模型。你会看到这个模型显示在主页上,但我们不打算使用它。点击设置按钮,打开配置文件,将API基础URL更改为Open Router的URL,并添加你的API密钥,修改模型名称为Hermes 3,保存文件。
使用Hermes 3-405b模型进行编码
现在,聊天功能应该可以使用Hermes 3-405b模型了。你可以发送消息并在界面中获取响应。任何在聊天界面生成的代码,你都可以通过光标插入选项添加到你的文件中,或者使用复制选项。此外,你还可以直接在文件中生成代码,使用Ctrl+I快捷键。你还可以添加代码库和文件到你的聊天中作为代码参考。
自动补全功能
对于自动补全功能,我们不能使用这个模型,因为Continue Dev不支持,而且这也不合理,因为速度会很慢。因此,我推荐使用qwen2 1.5B模型。首先,我们需要安装AMA,前往AMA网站,点击下载按钮,选择你的操作系统并安装。安装完成后,前往模型页面,选择qwen模型,选择1.5B变体,复制安装命令并粘贴到终端中进行安装。安装完成后,发送一条消息测试是否正常工作。
现在,回到Continue Dev,点击设置图标,在自动补全部分,将模型更改为Quinn 2,保存文件。自动补全功能现在应该可以正常工作了。我推荐这个模型,因为它非常小,并且在自动补全场景中表现良好。
总结
我认为这是目前你可以免费使用的最好的copilot。他们可能会在未来限制API的使用,但在此之前,你可以尽情使用。总体来说,这个copilot非常酷,工作效果也很好。在聊天中你可以使用更大的模型,而在自动补全中你可以本地完成所有操作。如果你愿意,你也可以使用其他模型。总之,我推荐使用qwen模型,因为它非常小,几乎可以在任何计算机上运行。
关注我,每天带你开发一个AI应用,每周二四六直播,欢迎多多交流。