大模型
文章平均质量分 59
baker_zhuang
java开发,
展开
-
Window本地部署ChatTTS
此前我在window上部署过一次,部署成功了,但是过程稍微复杂些,官网提供的部署方法更适合liunx系统,对window不友好,但如果有liunx系统可以参考尝试下。选择不同的音色或者音色值转化后的人语音是不一样的,需要注意的是如果文本中存在数字要勾选数字转文本,否则语音会读不准数字的发音。然后,你只需要双击app的那个文件就可以运行了,因为这个包里已经包含了必要的组件,双击运行后会出现如下的日志,最终打印出来一个启动地址,在浏览器输入地址后就可以打开主页面了。可以根据接口文档,传入参数值,尝试下。原创 2024-06-06 16:01:36 · 146 阅读 · 0 评论 -
Dify开发工作流
创建后就会有一个可拖拽的工作流页面,因为还没设置,默认只有一个开始,我们创建一个条件语句,就是根据不同的情况去执行不同的任务,我们可以创建一个变量,然后根据这个变量的值去判断执行哪个任务,所以在开始节点中添加一个变量,叫city,然后在开始后的+添加一个IF条件分支,在IF条件分支中需要判断刚才的变量,也就是city,我们配置如果输入city包含苏州,就执行一中任务,如果没有就执行另一种任务,在条件分支的后面可以看到两个+,就是连接的不同任务。因为天气预报调用的是接口,所以返回的是一大串的JSON数据。原创 2024-06-03 14:24:50 · 164 阅读 · 0 评论 -
Dify开发Agent对接钉钉机器人
我个人觉得差不多是这一次,简单的说就是告诉Agent规则,他可以通过你发的一句话,自己根据规则去做该做的事,如果你配置了很多个专业AI Agent,你就可以让一群Agent相互配合做很多事,这就是网上说的有了大模型,你就有了一群知识丰富的大学生,你只要告诉他们怎么做事就好了,下面我们来演示怎么把Agent对接到钉钉群机器人。然后就进入到配置界面,上面是输入提示词,然后是变量,变量的作用是生成开场白,上下文是添加知识库,这里可以先做个最简单的机器人,对接到钉钉,在工具的卡片中点击添加。原创 2024-05-31 10:35:02 · 302 阅读 · 0 评论 -
Vanna使用ollama分析本地MySQL数据库
此时已经可以连接到大模型,并访问数据库了,但是大模型并不知道数据结构,所以要对vanna进行简单的训练,官方的训练分为三种,DDL,Document,SQL,DDL就是建表语句,告诉大模型表结构,Document存放的是数据库中的一些专业术语,比如你要查询成年人的数量,那就要在document中记录,成年人是指大于18岁的人。然后需要连接本地的ollama中的llama3,输入模型名称llama3:8b,并设置访问地址,然后替换连接的数据库,我的数据库在局域网,因此填写局域网的数据库IP,和账号密码。原创 2024-05-28 17:54:27 · 754 阅读 · 0 评论 -
使用vanna实现Text2SQL
这节一起用vanna来实现自然语言转SQL,之前的大模型一直停留在问答阶段,答案基本都是大模型提供的,至多是加点本地知识库,tet,pdf等文档,丰富大模型的内容,但是想要大模型与一些管理系统对接还是无能为力,这节就一起尝试下用vanna对接数据库,将自然语言转成标准的SQL对数据库进行查询。使用vanna之前需要打开vanna的官网申请一个key,如果之前没有注册过的话,还需要先注册一个vanna的账号,注册成功后,在。安装成功后,按照官网的步骤对接vanna,这里使用的是vanna的数据库,原创 2024-05-28 10:16:42 · 654 阅读 · 0 评论 -
window本地部署Dify
这节一起来实现Dify的离线部署,官方的github仓库也提供了docker的部署方式,我们也使用docker的方式部署,因此需要在window上安装docker环境,安装好后,我们先从github将源码下载下来,然后解压到一个文件夹下,这里是我下载后解压的项目目录。所以有端口冲突可以在此修改,当所有组件pull不并started后就可以了,打开浏览器,输入IP+port,如果刚才映射的端口被修改,要记得这里的port是修改映射后的新端口,修改后,打开命令提示符,进入项目的docker目录下,输入命令。原创 2024-05-27 10:39:38 · 629 阅读 · 0 评论 -
对MaxKB进行个性化设置
第一步可以将应用的名字和描述改成自己想要的,名字在问答界面会显示在标题位置,然后可以对提示词进行修改,对提示词的修改吗,我们可以理解为给我们的问题加上备注,可以根据需求加上所需要的各种提示词。在弹出的页面中有两种嵌入方式,一种是全屏嵌入一种是浮窗嵌入,我们选择浮窗的方式,将下面的代码嵌入到网页中,只需要短短几行的代码就可以把我们刚才配置好的应用嵌入到网页中了。然后我们可以修改这个应用开场白,也就是打开对话框时默认的内容,在这里,可以把MaxKB改成你们问答系统客服的名字,是他更贴近正常的使用场景。原创 2024-05-17 15:24:47 · 439 阅读 · 0 评论 -
MaxKB创建本地知识库
点击创建知识库后,设置知识库的名字,描述,然后上传知识库的文件,这里只是两种知识库,第一种是上传文件,大模型会解析文件中的文字,将文字分解后放到数据库,在需要的时候从数据库查询问题的答案,匹配上了就会引用知识库中的信息,第二种是通过url地址获取,同样会把数据存到数据库,这里演示第一种,我们做一个测试的文本文档上传,拖拽文件上传后点击创建并导入,回到应用界面,点击应用的设置,在应用信息中有关联知识库选项,点击其中的添加,把刚才的知识库加入进来,然后点击保存,就把知识库和这个应用关联起来了。原创 2024-05-15 18:24:48 · 377 阅读 · 0 评论 -
Docker部署MaxKB详细步骤(window系统)
上面章节已经实现了ollama李现部署llama3,并实现了一些简单的问答,但是问答的界面是在命令提示符中,交互很不友好,也不方便局域网其他用户访问,所以这节用docker部署MaxKB实现网页访问llama3,首先电脑上需要安装docker,window系统需要开启虚拟化后才能安装docker,这个可以找相关教程安装下,有了docker后就可以开始部署MaxKB了。点击创建后就创建好了应用,此时应用列表会出现和刚才模型差不多的卡片,点击卡片后,显示这个模型对话框的详细内容,点击演示,就可以进入对话了。原创 2024-05-15 09:22:23 · 1678 阅读 · 11 评论 -
ollama本地部署llama3(window系统)
ollama只是一个大模型的服务工具,并非大模型本体,所以只是安装ollama也并不能使用大模型,所以接下来要通过ollama下载大模型,需要注意的是,llama3分为多个版本,如果你的电脑性能一般还是安装llama3:8B的版本,除非是很好的电脑,内存64以上,GPU 3090的那种才考虑安装llama3:70B,下面是根据电脑配置推荐的安装版本。下面开始下载和安装,下载的话可以到ollama的官网去下载,有window,macOS,liunx三个版本,如下图就是下载完成,可以直接在这里提问了,原创 2024-05-14 21:21:25 · 967 阅读 · 3 评论