TavernAI+KoboldAI本地部署实现AI对话

必需的前提:

(1)1个GPU,本文使用的是nvidia的,amd应该也可以但我没试过。显存6G或以上,大于等于16G更好;

(2)科学的上网;

(3)Windows系统。 linux系统也是可以的,但是我没完整地试过。本文以Windows为准。

另外最好会一些英语,因为目前KoboldAI对话模型对中文的支持都很差,当然可以用OpenAI的API。使用翻译插件也可以。

本文主要是说明KoboldAI的本地部署,如果利用Google Colab云端部署或使用OpenAI的API可参考该文章

https://www.bilibili.com/read/cv22355581?from=search

0.英语能力好的可直接看官方教程

https://github.com/TavernAI/TavernAI

https://github.com/KoboldAI/KoboldAI-Client

1.配置TavernAI

(1)下载和安装Node.js

打开下面的地址

https://nodejs.org/download/release/v19.1.0/

选x64.msi结尾的,下载后以管理员身份打开安装程序,一路Next直到安装好。

(2)下载和安装TavernAI

https://sourceforge.net/projects/tavernaimain/files/TavernAI.rar/download

下载后解压,打开里面的TavernAI.exe,浏览器会弹出TavernAI的页面,默认地址为127.0.0.1:8000。

2.配置KoboldAI

(1)下载和配置

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
实现人工智能对话可以使用第三方库或API,例如微软的Bot Framework、阿里的小蜜、百度的UNIT等。同时,Vue.js作为一款流行的前端框架,可以通过引入相关的第三方库来实现人工智能对话。 一种常用的实现方式是将人工智能对话系统封装为一个独立的组件,然后在Vue组件中进行调用。具体来说,可以通过以下步骤来实现人工智能对话: 1. 引入人工智能对话的第三方库或API; 2. 创建一个Vue组件,用于渲染对话窗口; 3. 在Vue组件中通过调用第三方库或API来实现对话功能。 以下是一个简单的示例代码: ```html <template> <div class="dialog"> <div class="chat-window"> <div v-for="message in messages" :key="message.id"> {{ message.text }} </div> </div> <div class="input-field"> <input type="text" v-model="inputValue" @keyup.enter="sendMessage" /> </div> </div> </template> <script> import chatbot from 'chatbot-library'; export default { data() { return { messages: [], inputValue: '', }; }, methods: { async sendMessage() { // 发送用户输入 const userText = this.inputValue; this.messages.push({ id: Date.now(), text: userText, isBot: false, }); this.inputValue = ''; // 获取机器人回复 const botText = await chatbot.getReply(userText); // 显示机器人回复 this.messages.push({ id: Date.now(), text: botText, isBot: true, }); }, }, }; </script> <style> .chat-window { height: 300px; overflow-y: scroll; } .input-field { margin-top: 10px; } </style> ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值