NVIDIA-ChatWithRTX安装环境图文教程

https://www.nvidia.cn/ai-on-rtx/chat-with-rtx-generative-ai/

首先到官网下载ChatWithRTX环境包(35G)

解压缩后运行

确认硬件满足安装环境需求：

Win11/RTX3000&4000显卡8G+显存/16G+内存/显卡驱动535.11+

硬件条件不满足会提示

卡在此处需要科学代理

Llama2 安装失败切换代理多尝试几次

安装完成点击运行，桌面会有快捷方式

运行也需要科学代理

没有联网会提示连接目标计算机失

初次运行成功后会浏览器打开界面，后台有提示报错，需要打开

\RAG\trt-llm-rag-windows-main\ui\user_interface.py 文件第256-257行处添加share=True,

保存后重启即可运行

llama13b.nvi 显存不够的将这个文件里的15改成比显存低的数值

7B占用7G显存

13B占用10G显存

 将需要学习的文档放到这个路径下
\RAG\trt-llm-rag-windows-main\dataset

实测目前默认DEMO环境仅支持英文，可以用中文提问，但不是很兼容中文问答

 

想支持中文模型可参考其他大佬魔改教程