您的 NVIDIA 显卡可以免费运行 ChatGPT (Chat with RTX)

Nvidia Chat with RTX 应用详细介绍

本文介绍了 Nvidia 推出的 Chat with RTX 应用，这是一个基于大型语言模型 (LLM) 的演示应用，可以将 GPT 风格的 LLM 与用户自己的内容相结合，实现个性化对话。

应用特点:

• 使用检索增强生成 (RAG) 技术，将 LLM 与用户数据结合。
• 提供了 Llama 2 13B 和 Mistral 7B 两个模型，参数量分别为 130 亿和 70 亿。
• 模型使用 int4 量化，减少存储空间和计算时间，但会略微降低性能。

下载和安装:

• 应用下载量为 35 GB，需时约 1 小时。
• 需要 Windows 平台，Nvidia GeForce RTX 30 或 40 系列显卡，以及至少 8 GB 的 VRAM。
• 下载后解压缩，安装前需要升级 Nvidia 显卡驱动至 535.11 版本。
• 安装过程中会下载 Llama 2 13B 和 Mistral 7B 模型。

应用功能:

• 提供了一个 LLM 与用户数据相结合的演示，展示了 RAG 技术的应用潜力。
• 允许用户个性化 LLM，使其能够与用户自己的内容进行交互。

使用场景:

• 对于希望了解 RAG 技术和 LLM 应用的开发者来说，这是一个很好的学习资源。
• 对于想要尝试构建个性化 AI 聊天应用的开发者来说，这是一个值得参考的项目。

注意:

• 应用仍处于演示阶段，尚未完全完善。
• 由于模型参数量较大，需要高性能硬件才能运行。

总结:

Chat with RTX 应用是一个展示 RAG 技术和 LLM 应用潜力的演示应用，它可以帮助开发者了解如何将 LLM 与用户数据结合，构建个性化的 AI 聊天应用。

Chat with RTX 是一款类似 ChatGPT 的应用程序，它使用检索增强生成 (RAG) 技术，让你可以使用自己的数据在本地 NVIDIA GPU/PC 上进行聊天。提到的链接：下载 Chat with RTX - https://www.nvidia.com/en-au/ai-on-rtx/chat-with-rtx-generative-ai/NVIDIA RAG 博客文章 - https://developer.nvidia.com/blog/rag-101-demystifying-retrieval-augmented-generation-pipelines/我的 RAG 教程（从头开始的代码） - https://youtu.be/qN_2fnOPY-M注册 NVIDIA GTC 2024 - https://nvda.ws/3GUZygQPDF 链接：注意力是你所需要的一切论文 - https://arxiv.org/abs/1706.03762嵌入论文 - https://vickiboykis.com/what_are_embeddings/机器学习数学书籍 - https://mml-book.github.io/book/mml-book.pdf