https://www.nvidia.cn/ai-on-rtx/chat-with-rtx-generative-ai/
首先到官网下载ChatWithRTX环境包(35G)
解压缩后运行
确认硬件满足安装环境需求:
Win11/RTX3000&4000显卡8G+显存/16G+内存/显卡驱动535.11+
硬件条件不满足会提示
卡在此处需要科学代理
Llama2 安装失败切换代理多尝试几次
安装完成点击运行,桌面会有快捷方式
运行也需要科学代理
没有联网会提示连接目标计算机失
初次运行成功后会浏览器打开界面,后台有提示报错,需要打开
\RAG\trt-llm-rag-windows-main\ui\user_interface.py 文件第256-257行处添加share=True,
保存后重启即可运行
llama13b.nvi 显存不够的将这个文件里的15改成比显存低的数值
7B占用7G显存
13B占用10G显存
将需要学习的文档放到这个路径下
\RAG\trt-llm-rag-windows-main\dataset
实测目前默认DEMO环境仅支持英文,可以用中文提问,但不是很兼容中文问答
想支持中文模型可参考其他大佬魔改教程