《英伟达-本地AI》--NVIDIA Chat with RTX-本机部署

阿丹：

        突然发现公司给配置的电脑是NVIDIA RTX 4060的显卡，这不搞一搞本地部署的大模型玩一玩？？？

        从0-》1记录一下本地部署的全过程。

本地模型下载地址：

Build a Custom LLM with Chat With RTX | NVIDIA

GitHub上的开发者下载地址：

GitHub - NVIDIA/trt-llm-rag-windows: A developer reference project for creating Retrieval Augmented Generation (RAG) chatbots on Windows using TensorRT-LLM

下载的文件有32个G！！
开始安装：
 

为了方便观看我直接放翻译的版本：（跟着红色箭头就可以了）

安装许可：

 这个应该是选择安装的功能：

选择安装的位置： 

 

 开始安装：（这个下载的过程需要使用科学的上网环境！）

 然后开始漫长的等待安装。。。。。。

点击完成：

 

双击第一次会开始下载数据也是一些依赖

这些依赖下载完毕就欧克了。

会自己将网页打开。

 但是在本地访问的时候出现了一些问题。

要注意的是。在本地运行的时候需要开启科学的上网环境。

下个文章我会重点解决和汇总一下我在安装的时候出现的问题。集中一起解决。

部署问题解决文章：

《英伟达-本地AI》--NVIDIA Chat with RTX--部署问题：ValueError: When localhost is not accessible-CSDN博客