茴香豆 + Qwen-7B-Chat-Int8

最新推荐文章于 2024-10-02 16:50:28 发布
最新推荐文章于 2024-10-02 16:50:28 发布
阅读量261 收藏 3
点赞数 10
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Pythonliu7/article/details/142679422
版权

今天 打开config.ini 发现 茴香豆 支持  qwen/qwen-7b-chat-int8

 1.0 拉取qwen/qwen-7b-chat-int8

 

cd /root/models

git clone https://gitee.com/hf-models/Qwen-7B-Chat-Int8.git

1.1 更改配置文件

茴香豆的所有功能开启和模型切换都可以通过 config.ini 文件进行修改

/root/huixiangdou/config.ini

local_llm_path = "/root/models/Qwen-7B-Chat-Int8"

茴香豆助手搭建在远程服务器上，因此需要先建立本地和服务器之间的透传，透传默认的端口为 7860，在本地机器命令行中运行如下命令：

ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p <你的ssh端口号>

在运行茴香豆助手的服务器端，输入下面的命令，启动茴香豆 Web UI：

conda activate huixiangdou
cd /root/huixiangdou
python3 -m huixiangdou.gradio

本地浏览器中输入 127.0.0.1:7860 打开茴香豆助手测试页面：

 

Ollama 

 

Pythonliu7
关注
第三期-茴香豆
weixin_42037035的博客
08-27 886
是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。
进阶岛 - 茴香豆：企业级知识问答工具实践闯关任务
纸上得来终觉浅 绝知此事要躬行
08-26 799
茴香豆是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了三阶段Pipeline的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。茴香豆特点。
【InternLM 实战营第二期-笔记3】茴香豆：搭建你的 RAG 智能助理
Oven_maizi的博客
04-12 1307
大模型的训练时间在前，无法解答针对新增知识的问题，如何解决大模型的幻觉？传统方法：采集新增语料，通过微调等方式对模型进行再训练。缺陷：知识新增太快，语料太多，语料难以收集，训练成本太大。rag技术的提出。（不需要训练，解决新增知识的问题）Rag(retrieval augmented generation)是一种结合了检索（retrieval)和生成（generation)的技术，旨在通过利用外部知识库来增强大型语言模型（llms)的性能。
学习笔记 | 茴香豆：搭建你的RAG智能助理
DrFlown的博客
04-18 949
拒答分数在检索过程中通过与示例问题的相似性检索得出，高质量的问题得分高，无关、低质量的问题得分低。需要注意的是，这里启用的远程模型，只用在问答分析和问题生成，依然需要本地嵌入、重排序模型进行特征提取。检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。增强搜索利用知识领域的源文件建立图数据库，当模型判断问题为无关问题或回答失败时，增强搜索功能将利用 LLM 提取的关键词在该图数据库中搜索，并尝试用搜索到的内容重新生成答案。
IntenLM2-三-《“茴香豆“:零代码搭建你的 RAG 智能助理》
weixin_44217506的博客
06-11 861
茴香豆的工作流分为三个部分：预处理（Preprocess），拒答工作流（Rejection Pipeline），应答工作流（Response Pipeline）,使用拒答工作流是为了方便更复杂的应用场景。
【InternLM 实战营第二期笔记】使用茴香豆搭建你的RAG智能助理
JeffDing
04-07 1017
茴香豆是一个基于 LLM 的群聊设计拒答、响应两阶段 pipeline 应对群聊场景，解答问题同时不会消息泛滥。精髓见技术报告成本低至 1.5G 显存，无需训练适用各行业提供一整套前后端 web、android、算法源码，工业级开源可商用。
《书生·浦语大模型实战营》第3课 学习笔记：搭建你的 RAG 智能助理(茴香豆)
shiter编写程序的艺术
06-03 804
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。RAG综述RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。第三次课程 选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。
三、“茴香豆”：搭建你的 RAG 智能助理
厚积而薄发
04-28 703
RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。
【书生大模型实战营（暑假场）】进阶任务五 茴香豆：企业级知识库问答工具
Tongcheng_98的博客
08-28 755
茴香豆是由书生·浦语团队开发的一款开源、专门针对国内企业级使用场景设计并优化的知识问答工具。在基础 RAG 课程中我们了解到，RAG 可以有效的帮助提高 LLM 知识检索的相关性、实时性，同时避免 LLM 训练带来的巨大成本。在实际的生产和生活环境需求，对 RAG 系统的开发、部署和调优的挑战更大，如需要解决群应答、能够无关问题拒答、多渠道应答、更高的安全性挑战。因此，根据大量国内用户的实际需求，总结出了三阶段Pipeline的茴香豆知识问答助手架构，帮助企业级用户可以快速上手安装部署。
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
langchain-chatchat在window上使用cpu运行Qwen-1-8B-Chat时遇到ERROR: object
04-26
langchain-chatchat在window上使用cpu运行Qwen-1_8B-Chat时遇到ERROR: object of type ‘NoneType‘ has no len()，这个问题其实是因为"addmm_impl_cpu_" not implemented for 'Half’这个根本原因导致的，也就是cpu...
开源模型应用落地-qwen-7b-chat-LoRA微调（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
03-27 1716
使用QWen官方方式微调qwen-7b-chat模型
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（一）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
01-10 2万+
qwen-7b-chat集成vllm，流式输出
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（六）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
01-13 2511
使用spacy改变模型自我认知
linux 网络序
CodeHouse的博客
09-30 414
在将ip字符串转网络序存储时。根据整形二进制显示判断。
Linux 安装redis主从模式+哨兵模式3台节点
一千个读者就有一千个哈姆雷特
09-27 424
Linux 安装redis主从模式+哨兵模式3台节点
【Linux】进程间关系与守护进程
最新发布
叫我龙翔的博客
10-02 497
超出能力之外的事，如果永远不去做，那你就永远无法进步。--- 乌龟大师 《功夫熊猫》---
linux 源代码编译
Lxn2zh的博客
09-27 1361
有时候会在linux上下载源码包，然后进行编译成可执行的文件，这个过程需要经过configure、make、make install、make clean四个步骤。configure 为这个程序在当前的操作系统环境下选择合适的编译器和环境参数来编译该代码。make install 将已编译好的可执行文件安装到操作系统指定或默认的安装目录下。make 对程序代码进行编译操作，会将源码编译成可执行的目标文件。make clean 删除编译时临时产生的目录或文件。
qwen-7b 部署
12-22
qwen-7b部署是一项复杂的流程，需要经过多个步骤和严格的规划。首先，需要确定部署的目标和需求，明确要部署的系统或应用程序的功能和性能要求。其次，需要准备好适当的硬件设备和软件工具，确保系统能够正常运行并满足需求。接下来，需要进行系统配置和安装，包括网络设置、数据库配置、安全设置等，确保系统能够稳定运行并保护数据安全。然后，需要进行系统测试，包括功能测试、性能测试、安全测试等，确保系统能够正常运行并满足用户需求。最后，需要进行系统上线和监控，确保系统能够稳定运行并及时发现和解决问题。在整个部署过程中，需要密切合作和沟通，确保各个部门和团队能够紧密配合，顺利完成部署任务。同时，还需要及时记录和更新部署文档，以便日后维护和升级。总之，qwen-7b部署是一项需要严谨规划和细致执行的工作，只有确保每一个环节都得到认真对待，才能够顺利完成部署任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值