安装 NVIDIA Chat with RTX

已于 2024-02-14 13:09:31 修改
阅读量6.6k 收藏 22
点赞数 26
分类专栏： LINUX 文章标签： NVIDIA Chat RTX
于 2024-02-14 13:08:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/engchina/article/details/136112485
版权

安装 NVIDIA Chat with RTX

0. NVIDIA Chat with RTX 是什么？

Chat With RTX 是一款演示应用程序，可让您个性化连接到您自己的内容（文档、笔记、视频或其他数据）的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速，您可以查询自定义聊天机器人以快速获得上下文相关的答案。由于它全部在您的 Windows RTX PC 或工作站上本地运行，因此您将获得快速、安全的结果。

1. 安装 NVIDIA Chat with RTX

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Note：安装目录里面不要有空格

在这里插入图片描述
在这里插入图片描述

2. 使用 NVIDIA Chat with RTX

从启动脚本中可知，NVIDIA Chat with RTX 支持2种模型，

  • “Mistral 7B int4”
  • “Llama 2 13B int4”
    在这里插入图片描述

NVIDIA Chat with RTX 启动后，后自动打开浏览器，我们就可以使用了，
在这里插入图片描述
问一个问题试一试，

在这里插入图片描述

3. NVIDIA Chat with RTX 下载地址

访问 https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/ 进行下载。

完结！

完整指南：NVIDIA Chat with RTX 如何使用由您自己的数据和机器提供支持的个人人工智能聊天机器人
iCloudEnd的博客
03-01 564
NVIDIA 通过“Chat with RTX”进军快速发展的生成式 AI 世界。这款独特的软件可将配备 RTX GPU 的 Windows PC 转变为人工智能引擎。在此过程中，NVIDIA 在生成式 AI 领域为用户提供了前所未有的个性化和控制水平。让我们更深入地探讨为什么这是一个潜在的游戏规则改变者。
Chat With RTX使用注意事项（更新中~）
m0_59457317的博客
02-17 3506
​ 1、硬件要求： （1）Windows平台（有人说win10ltsc也能用） （2）安培架构或者Ada架构的8G以上显存显卡（核心代号GA或者AD） （3）16GB运行内存 （4）535及以后的显卡驱动
NVIDIA Chat with RTX 安装使用，报错问题解决办法
qq_23306257的博客
02-15 7223
注意：以后使用前，也需要提前打开VPN使用。（理论上本地运行不应该不用联网的，但是目前这个demo好像要联网验证）。1. 如果install failed的话，安装路径改成全英文并且中间不带有空格。如果还是安装失败，多试几次就好了。3. 如果遇到打开几秒后断链​​​​​​，需要进入blocks.py文件改代码。2. 运行的时候显示连接错误，这里需要开启vpn下载包。（否则可能提示连接错误）第1752行，share的None改成True。
Chat with RTX 安装
zxs9999的专栏
02-16 2334
Chat With RTX 是一个 Demo，用来将您自己的资料（文档、笔记、视频或其他数据）与大语言模型建立连接，从而令 LLM 更具个性化。利用检索增强生成 (RAG)和 RTX 加速，您可以与自定义聊天机器人对话，快速灵活地获得聊天机器人根据您的内容给出的见解。此外，由于 Chat with RTX 完全在 Windows RTX PC 或工作站本地以安全的方式运行，因此您可以更快获得更满意的结果。
Nvidia Chat With RTX安装及疑难杂症
richardjung的专栏
02-19 5708
安装时间为20240218.当前版本是v0.2.未来的官方版本未必适合本次安装。本人由于中间多次安装问题，并没有一键安装成功，所以后续步骤可个人视觉情况，而且只要满足关杀毒、不修改默认路劲，合理使用梯子，避免任何中文字段，应该可以一次搞定。C盘空间不足的，建议就不用折腾了（安装完后C盘增加在62G+以上）。另外一点，我看安装里面并没有提及安装cuba的问题,因为系统本身就装的有STABLE diffusion所以是装了cuba的，这里只是提一句，到底有没有关系我也不确定。
NVIDIA Chat With RTX安装使用教程
热门推荐
专注于人工智能领域的小何尚
02-23 1万+
世界各地每天有数百万人使用聊天机器人，由基于 NVIDIA GPU 的云服务器提供支持。现在，这些突破性工具即将登陆由 NVIDIA RTX 提供支持的 Windows PC，以实现本地、快速、自定义的生成 AI。Chat with RTX 是一个技术演示，现已免费下载，可让用户使用自己的内容个性化聊天机器人，并由本地 NVIDIA GeForce RTX 30 系列 GPU 或更高版本（具有至少 8GB 显存和 VRAM）加速。
Chat with RTX安装教程 | 老黄新品：推出本地部署Chat with RTX,人人都能运行大模型！
冰小九的博客
02-17 4021
NVIDIA几天前“深夜放大”发布，这项技术只须要求你拥有配备8GB显存的NVIDIA RTX 30或40系列显卡。用户可以向其提供txt、doc、pdf文件或视频链接，定制模型以获取回答。值得一提的是，所有的索引工作都在本地进行，用户无需担心隐私问题。
Chat With RTX安装及中文大语言模型配置与使用体验
sheex2012的博客
03-27 6928
Chat with RTX是Nvidia发布的一款运行在PC或工作站上本地应用程序，它基于Mistral/Llama2等先进大语言模型，借助检索增强生成、NVIDIA TensorRT-LLM 软件及NVIDIA RTX加速技术，使模型与Nvidia Tensor核心的计算能力相结合，促进快速、准确的数据查询，并可确保敏感数据保留在用户设备的范围内，提供云上人工智能服务无法比拟的隐私和数据安全级别。本文简要介绍了软件安装、大语言模型构建配置和测试体验。
Chat With RTX跳过硬件要求
weixin_67086863的博客
10-05 748
Chat With RTX跳过硬件要求
ChatRTX安装教程
u014452148的博客
02-25 2121
介于本人一直想将现有的智慧城市的文档结合大模型RAG实现知识库问答助手，借着Chat With RTX的风潮正好将机器人和知识库合二为一，方便以后对众多文件进行查阅。
NVIDIA-ChatWithRTX安装环境图文教程
gycybb的博客
02-22 1312
RAG\trt-llm-rag-windows-main\ui\user_interface.py 文件第256-257行处添加share=True,Win11/RTX3000&4000显卡8G+显存/16G+内存/显卡驱动535.11+实测目前默认DEMO环境仅支持英文，不是很兼容中文问答。Llama2 安装失败切换代理多尝试几次。安装完成点击运行，桌面会有快捷方式。没有联网会提示连接目标计算机失。显存不够的将这个文件里的。硬件条件不满足会提示。卡在此处需要科学代理。13B占用10G显存。
NVIDIA Chat with RTX安装使用以及设置离线启动
weixin_50727153的博客
03-14 2948
Chat with RTX 是一款演示应用程序，可让您个性化连接到您自己的内容（文档、笔记或其他数据）的 GPT 大型语言模型 （LLM）。利用检索增强生成 （RAG）、TensorRT-LLM 和 RTX 加速，您可以查询自定义聊天机器人以快速获得与上下文相关的答案。而且，由于它们都在您的 Windows RTX PC 或工作站上本地运行，因此您将获得快速且安全的结果。
NVIDIA Chat with RTX教程使用以及CUDA和CUDNN
weixin_46151178的博客
03-20 1304
下载完以后默认一路确认安装到C盘即可。现在需要重启电脑，然后Win+R进入cmd界面，输入nvcc -V，出现如下界面，代码cuda已经安装成功了。注：必须要重启电脑，否则运行nvcc -V 会找不到命令。
chatRTX / chat with RTX 下载 及 更换中文模型
weixin_64404339的博客
06-15 2889
max_input_len和max_output_len需要根据模型修改，例如chatglm在tensorRT里面有说明，Using ChatGLM2-6B-32K / ChatGLM3-6B-32K models, we need to guarantee。conda环境目录：C:\Users\wyh\AppData\Local\NVIDIA\ChatRTX\env_nvd_rag。安装目录为 C:\Users\wyh\AppData\Local\NVIDIA\ChatRTX。打开conda命令行。
[技术杂谈]NVIDIA Chat With RTX安装使用教程
FL1768317420的博客
03-15 1417
世界各地每天有数百万人使用聊天机器人，由基于 NVIDIA GPU 的云服务器提供支持。现在，这些突破性工具即将登陆由 NVIDIA RTX 提供支持的 Windows PC，以实现本地、快速、自定义的生成 AI。Chat with RTX 是一个技术演示，现已免费下载，可让用户使用自己的内容个性化聊天机器人，并由本地 NVIDIA GeForce RTX 30 系列 GPU 或更高版本（具有至少 8GB 显存和 VRAM）加速。
windows安装ChatWithRTX
gaoyi1234560的专栏
02-20 669
准备工作 安装nvida的驱动，必须是535.11以上、 驱动下载地址： https://www.nvidia.cn/Download/index.aspx (系统会自动的选择好需要的) download_type中有两个选项：StudioDiver(工作软件优化),GameReady(针对游戏优化),本次采用的是StudioDiver的驱动下载，大小在680M左右 下载安装包，大小在35G以上 安装地址：https://www.nvidia.com/en-us/ai-on-rtx/chat-w
[技术杂谈]Chat With RTX 介绍与下载
FL1768317420的博客
02-20 756
据官网信息显示，想要安装该聊天机器人应用，用户的系统配置需使用Nvidia的30系/40系显卡（或Ampere/Ada架构的其他显卡），且显存至少为8GB。此外，用户还可以提供YouTube播放列表的URL链接，该应用程序将加载播放列表中视频的转录，使用户能够查询它们涵盖的内容。有观点指出，从官方描述来看，用户可以通过不同的查询，与使用ChatGPT相同的方式使用Chat With RTX，但生成的结果将完全基于特定数据集，似乎更适用于生成摘要、快速搜索文档等操作。
Chat With RTX 安装、使用问题记录
Love丶伊卡洛斯
02-23 1635
修改参考 “F:\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py”重装了cuda、cudnn，配置了环境变量，还是报错，重装了chat With RTX，顺带把模型勾上装了次，居然不报错了，有点东西。webui正常启动了，但qwen无法使用，默认模型可以。科学上网，可以单独装Chat With RTX 先，模型之后手动装。参考：3.安装TensorRT-LLM。进行一个配置文件的修改。根据文档提示进行构建。
《英伟达-本地AI》--NVIDIA Chat with RTX-本机部署
阿丹的博客
02-19 1595
突然发现公司给配置的电脑是NVIDIA RTX 4060的显卡，这不搞一搞本地部署的大模型玩一玩？？？从0-》1记录一下本地部署的全过程。
电脑NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver.
最新发布
03-12
<think>好的，我现在要解决用户遇到的NVIDIA-SMI无法与NVIDIA驱动程序通信的问题。根据用户提供的引用内容，这个问题通常是因为驱动没有正确安装或运行导致的。首先，我需要回忆一下常见的解决方法，并结合用户提供的引用中的信息来梳理步骤。 用户提到已经尝试过通过`sudo apt-get install -y cuda-drivers`安装驱动，但问题依旧存在。这可能意味着安装的驱动版本不兼容，或者安装过程中出现了问题。首先，我应该建议用户确认驱动是否正确安装。可以通过`lsmod | grep nvidia`来检查内核模块是否加载。如果没有输出，说明驱动未加载，可能需要重新安装驱动或者手动加载模块。 接下来，用户可能需要检查安装的驱动版本是否与当前系统的内核版本兼容。有时候系统更新后，内核升级了，但驱动没有相应更新，导致不兼容。此时需要安装与内核匹配的驱动版本。另外，用户提到的引用[4]中提到已经安装了cuda-drivers，但问题依旧，可能需要更详细地检查安装过程是否正确，是否有依赖项缺失。 然后，用户可能需要禁用Nouveau驱动，因为这是Linux自带的开源驱动，可能与NVIDIA驱动冲突。禁用方法包括创建黑名单文件并更新initramfs，然后重启系统。这一步在引用中虽然没有直接提到，但通常是解决驱动冲突的常见步骤。 另外，安装驱动后需要重启系统，以确保驱动正确加载。用户可能在安装后没有重启，导致驱动未能生效。此外，使用DKMS（Dynamic Kernel Module Support）可以帮助在更新内核后自动重建模块，避免驱动不兼容的问题。 如果上述步骤都尝试过仍无法解决，可能需要手动下载并安装官方驱动。使用`ubuntu-drivers devices`查看推荐的驱动版本，然后使用`sudo apt install`安装推荐版本。或者从NVIDIA官网下载对应的驱动包，进行手动安装，但需要注意关闭图形界面进入命令行模式进行安装，避免冲突。 用户还可能遇到Secure Boot的问题，尤其是在启用了Secure Boot的系统上，可能需要禁用Secure Boot或为其签名模块。这也是一个常见的导致驱动无法加载的原因。 最后，如果所有方法都无效，可能需要查看系统日志，如`dmesg`和`/var/log/nvidia-installer.log`，寻找具体的错误信息，根据日志内容进一步排查问题。 总结一下，解决步骤可能包括：确认驱动安装、检查内核模块加载、禁用Nouveau驱动、重启系统、使用DKMS、安装推荐版本驱动、处理Secure Boot问题、手动安装驱动以及查看日志。需要一步步引导用户进行这些操作，并确保每个步骤都正确执行。</think>### 分步解决方案 #### 1. **确认NVIDIA驱动是否安装正确** - **检查驱动状态**： ```bash lsmod | grep nvidia # 若输出包含nvidia相关模块，则驱动已加载；否则未加载[^4] ``` - **查看已安装驱动版本**： ```bash dpkg -l | grep -i nvidia-driver ``` #### 2. **重新安装或更新驱动** - **通过官方仓库安装推荐版本**： ```bash sudo ubuntu-drivers autoinstall # 自动安装适配当前硬件的驱动 ``` **或手动选择版本**： ```bash sudo apt install nvidia-driver-535 # 替换为推荐的驱动版本号 ``` - **从NVIDIA官网下载驱动包手动安装**： - 访问 [NVIDIA驱动下载页面](https://www.nvidia.com/Download/index.aspx)，选择对应型号和操作系统版本。 - 禁用图形界面后安装： ```bash sudo systemctl isolate multi-user.target # 进入命令行模式 chmod +x NVIDIA-Linux-x86_64-*.run sudo ./NVIDIA-Linux-x86_64-*.run ``` #### 3. **禁用开源驱动Nouveau（常见冲突源）** - **创建黑名单文件**： ```bash echo "blacklist nouveau" | sudo tee /etc/modprobe.d/blacklist-nouveau.conf echo "options nouveau modeset=0" | sudo tee -a /etc/modprobe.d/blacklist-nouveau.conf ``` - **更新initramfs并重启**： ```bash sudo update-initramfs -u sudo reboot ``` #### 4. **确保内核模块正确加载** - **手动加载NVIDIA模块**： ```bash sudo modprobe nvidia # 若失败，需检查驱动安装或日志 ``` - **检查模块依赖**： ```bash dmesg | grep -i nvidia # 查看内核日志中的错误信息 ``` #### 5. **处理Secure Boot问题** - **若系统启用Secure Boot**： - 重启进入BIOS，禁用Secure Boot。 - 或为NVIDIA模块生成签名（需更复杂操作）。 #### 6. **使用DKMS重建驱动模块** - **安装DKMS工具**： ```bash sudo apt install dkms ``` - **重新注册NVIDIA驱动到内核**： ```bash sudo dkms install -m nvidia -v <驱动版本号> ``` #### 7. **验证修复结果** - **运行nvidia-smi**： ```bash nvidia-smi # 成功会显示GPU状态表格 ``` - **检查驱动日志**： ```bash cat /var/log/nvidia-installer.log # 查看安装过程中的错误细节 ``` --- ### 相关问题 1. **如何彻底卸载NVIDIA驱动？** - 需清除残留配置文件和模块[^2]。 2. **如何解决Ubuntu更新内核后NVIDIA驱动失效？** - 通过DKMS自动重新编译驱动模块[^3]。 3. **NVIDIA驱动安装后黑屏怎么办？** - 尝试在GRUB引导时添加`nomodeset`参数[^1]。
评论 47
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值