ChatRTX安装教程

已于 2024-02-25 19:52:34 修改
阅读量1.8k 收藏 11
点赞数 6
文章标签： 人工智能
于 2024-02-25 19:50:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014452148/article/details/136286412
版权

介于本人一直想将现有的智慧城市的文档结合大模型RAG实现知识库问答助手，借着Chat With RTX的风潮正好将机器人和知识库合二为一，方便以后对众多文件进行查阅。

一、概要

Chat With RTX 是一个 Demo，用来将您自己的资料（文档、笔记、视频或其他数据）与大语言模型建立连接，从而令 LLM 更具个性化。利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速，您可以与自定义聊天机器人对话，快速灵活地获得聊天机器人根据您的内容给出的见解。此外，由于 Chat with RTX 完全在 Windows RTX PC 或工作站本地以安全的方式运行，因此您可以更快获得更满意的结果。

二、安装教程

从官网下载demo

https://us.download.nvidia.com/RTX/NVIDIA_ChatWithRTX_Demo.zip

img

系统要求

平台Windows
GPUNVIDIA GeForce® RTX 30 或 40 系列 GPU 或配备至少 8GB VRAM 的 NVIDIA RTX™ Ampere 或 Ada Generation GPU
RAM16GB 或更高
操作系统Windows 11
驱动535.11 或更新版本驱动
文件大小35 GB

解压缩安装包

img

开始安装

img

img

img

img

注意事项

这个时候打开VPN，不然会安装报错。

只能安装在默认路径，路径不能包含中文。

如果安装路径用户名包含中文，则无法继续安装，需要新建一个用户。

安装完成后，桌面会显示图标

img

首次运行需要打开VPN，下载模型

img

等到出现这个界面代表运行完毕

img

安装完后可以选择不包含中文的文件夹作为知识库，然后就可以通过大模型轻松在几百篇文档中找到你想要的知识了！虽然回答正确率有待考量，但是能快速的定位到知识所在文件。目前仅支持英文回答！

yg52java
关注
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
06-13 1907
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
在 NVIDIA 的 AI 平台上免费访问顶级LLM 使用 Python 免费访问 Llama 3 和其他顶级模型。
iCloudEnd的博客
05-07 84
Nvidia 有一个 AI 网站，您可以在其中免费访问多种顶级开源大型语言模型，包括 Llama 3 等最新模型。您不仅可以通过类似聊天的界面访问大多数模型，而且通过使用 API 密钥（也是免费的），您可以编写 Python 程序、Javascript 甚至 shell 脚本以在本地系统上运行它将与模型交互，无需先下载它们。
NVIDIA Chat With RTX安装使用教程
专注于人工智能领域的小何尚
02-23 9761
世界各地每天有数百万人使用聊天机器人，由基于 NVIDIA GPU 的云服务器提供支持。现在，这些突破性工具即将登陆由 NVIDIA RTX 提供支持的 Windows PC，以实现本地、快速、自定义的生成 AI。Chat with RTX 是一个技术演示，现已免费下载，可让用户使用自己的内容个性化聊天机器人，并由本地 NVIDIA GeForce RTX 30 系列 GPU 或更高版本（具有至少 8GB 显存和 VRAM）加速。
Chat with RTX 安装
zxs9999的专栏
02-16 2273
Chat With RTX 是一个 Demo，用来将您自己的资料（文档、笔记、视频或其他数据）与大语言模型建立连接，从而令 LLM 更具个性化。利用检索增强生成 (RAG)和 RTX 加速，您可以与自定义聊天机器人对话，快速灵活地获得聊天机器人根据您的内容给出的见解。此外，由于 Chat with RTX 完全在 Windows RTX PC 或工作站本地以安全的方式运行，因此您可以更快获得更满意的结果。
NVIDIA Chat With RTX 安装使用教程
gitblog_06567的博客
09-20 590
NVIDIA Chat With RTX 安装使用教程 NVIDIAChatWithRTX安装使用教程 项目地址: https://gitcode.com/Resource-Bundle-Collection/d8e9c ...
Chat with RTX安装教程 | 老黄新品：推出本地部署Chat with RTX,人人都能运行大模型！
冰小九的博客
02-17 3876
NVIDIA几天前“深夜放大”发布，这项技术只须要求你拥有配备8GB显存的NVIDIA RTX 30或40系列显卡。用户可以向其提供txt、doc、pdf文件或视频链接，定制模型以获取回答。值得一提的是，所有的索引工作都在本地进行，用户无需担心隐私问题。
安装 NVIDIA Chat with RTX
engchina的专栏
02-14 6587
安装 NVIDIA Chat with RTX
NVIDIA-ChatWithRTX安装环境图文教程
gycybb的博客
02-22 1147
RAG\trt-llm-rag-windows-main\ui\user_interface.py 文件第256-257行处添加share=True,Win11/RTX3000&4000显卡8G+显存/16G+内存/显卡驱动535.11+实测目前默认DEMO环境仅支持英文，不是很兼容中文问答。Llama2 安装失败切换代理多尝试几次。安装完成点击运行，桌面会有快捷方式。没有联网会提示连接目标计算机失。显存不够的将这个文件里的。硬件条件不满足会提示。卡在此处需要科学代理。13B占用10G显存。
Nvidia Chat With RTX安装及疑难杂症
richardjung的专栏
02-19 4987
安装时间为20240218.当前版本是v0.2.未来的官方版本未必适合本次安装。本人由于中间多次安装问题，并没有一键安装成功，所以后续步骤可个人视觉情况，而且只要满足关杀毒、不修改默认路劲，合理使用梯子，避免任何中文字段，应该可以一次搞定。C盘空间不足的，建议就不用折腾了（安装完后C盘增加在62G+以上）。另外一点，我看安装里面并没有提及安装cuba的问题,因为系统本身就装的有STABLE diffusion所以是装了cuba的，这里只是提一句，到底有没有关系我也不确定。
Python_一个开发人员参考项目，用于在Windows上使用TensorRTLLM创建检索增强生成RAG聊天机器人.zip
05-24
项目中包含的"ChatRTX_release"可能是一个包含了所有源代码、预训练模型和其他必要资源的目录，供开发者下载并运行。而"说明.txt"很可能是项目的详细指南，包括如何设置环境、安装依赖、运行代码以及理解其工作原理...
在笔记本电脑上本地运行大型语言模型 (LLM) 的 5 个免费工具(GPT4All LM Studio Ollama LLa MA.cpp NV) 解锁自定义 AI：在本地运行大型模型以实现控制和隐私
iCloudEnd的博客
04-25 542
虽然在线访问基于 LLM 的聊天机器人很简单，只需互联网连接和良好的浏览器，但它存在潜在的隐私风险。例如，OpenAI 存储您的交互和元数据以改进其模型，这引起了注重隐私的用户的担忧。选择在本地使用这些模型为那些寻求更好地控制数据的人提供了一种解决方案。在本文中，我们将探讨在本地利用大型语言模型 (LLM) 的五种方法。这些工具兼容主要操作系统，可以快速下载和安装。通过本地运行的法学硕士，您可以保留对模型选择的控制权，并可以轻松地从 HuggingFace 中心访问模型。
NVIDIA Chat with RTX 安装使用，报错问题解决办法
qq_23306257的博客
02-15 6722
注意：以后使用前，也需要提前打开VPN使用。（理论上本地运行不应该不用联网的，但是目前这个demo好像要联网验证）。1. 如果install failed的话，安装路径改成全英文并且中间不带有空格。如果还是安装失败，多试几次就好了。3. 如果遇到打开几秒后断链​​​​​​，需要进入blocks.py文件改代码。2. 运行的时候显示连接错误，这里需要开启vpn下载包。（否则可能提示连接错误）第1752行，share的None改成True。
nvidia chat with rtx 安装教程
panda0熊猫的博客
02-19 1676
改\RAG\string.dat，最后几行，把里面的软件源改成阿里云的软件源，清华源也可以。下面是骚操作，\RAG\RAG.nvi，改成如下，修改了一些安装提示，可以知道安装卡在哪步。安装包有35g，特别大，但是我用nas配合千兆网下载的，速度非常快，10分钟左右。后记，我的ai model少一个选项，推测是显卡性能不够，另一个模型不能使用。如果你用了梯子，能够打开对话窗口，但是马上会有这样一个错误提示。第三步，等待进度条，这里有一些下载的东西，需要梯子。第二步，运行安装包。第一步，打开官网，下载安装包。
从0开始搭建清华ChatGLM3 6b大模型（Windows RTX4090版）
sjh752422969的专栏
01-02 4218
本文基于RTX4090 从0开始搭建清华chatglm3，相当基础
chatRTX / chat with RTX 下载 及 更换中文模型
weixin_64404339的博客
06-15 1576
max_input_len和max_output_len需要根据模型修改，例如chatglm在tensorRT里面有说明，Using ChatGLM2-6B-32K / ChatGLM3-6B-32K models, we need to guarantee。conda环境目录：C:\Users\wyh\AppData\Local\NVIDIA\ChatRTX\env_nvd_rag。安装目录为 C:\Users\wyh\AppData\Local\NVIDIA\ChatRTX。打开conda命令行。
Chat With RTX安装及中文大语言模型配置与使用体验
sheex2012的博客
03-27 5435
Chat with RTX是Nvidia发布的一款运行在PC或工作站上本地应用程序，它基于Mistral/Llama2等先进大语言模型，借助检索增强生成、NVIDIA TensorRT-LLM 软件及NVIDIA RTX加速技术，使模型与Nvidia Tensor核心的计算能力相结合，促进快速、准确的数据查询，并可确保敏感数据保留在用户设备的范围内，提供云上人工智能服务无法比拟的隐私和数据安全级别。本文简要介绍了软件安装、大语言模型构建配置和测试体验。
Chat With RTX跳过硬件要求
最新发布
weixin_67086863的博客
10-05 629
Chat With RTX跳过硬件要求
Chat With RTX使用注意事项（更新中~）
m0_59457317的博客
02-17 3327
​ 1、硬件要求： （1）Windows平台（有人说win10ltsc也能用） （2）安培架构或者Ada架构的8G以上显存显卡（核心代号GA或者AD） （3）16GB运行内存 （4）535及以后的显卡驱动
Nvidia ChatRTX更新体验：增加图像搜索、语音识别和中文模型
sheex2012的博客
05-09 1853
首先简要介绍了ChatRTX的新特性，接着描述了软件安装过程和大语言模型在低内存显卡的配置过程，然后测试了以文搜图结果，分别以英文和中文测试了不同语言模型的回答结果，Google的Gemma的中文表现不错，让人感到惊喜。最后，还比较了与上一个版本(Chat with RTX)在安装包内容、安装后组件的主要区别。各大厂商和开源社区纷纷对LLM+RAG的AI应用持续发力，似乎指明了该方向的发展潜力。
RTX2050也能部署ChatGLM2-6B大模型？
qq_40773212的博客
09-24 781
这里我的CUDA driver version是12.2，CUDA runtime version是11.7 ，Pytorch2.0.1。按理说大模型应该与我这种只有一张入门级显卡的穷X没什么交集才对，就只能调用调用API，但是某一天让我发现了这个图。啊~6G显存，RTX2050有专用的4G显存+2G共享显存，哦？用Pycharm打开文件夹，添加Python解析器，我这里用的python虚拟环境，没有下载Conda。找到这两张图，其实RTX2050就是RTX3050开倒车回来的，显存位宽少了一半。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值