准备工作
- 安装nvida的驱动,必须是535.11以上、
- 驱动下载地址: https://www.nvidia.cn/Download/index.aspx (系统会自动的选择好需要的)
- download_type中有两个选项:StudioDiver(工作软件优化),GameReady(针对游戏优化),本次采用的是StudioDiver的驱动下载,大小在680M左右
- 下载安装包,大小在35G以上
- 安装地址:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
直接安装
- 会先进行系统环境的检测,win10 64bit也是可以的
- 进行模型的安装,大概在35G左右
- 安装完成后,可以直接运行
运行效果体验
- 输入了一些文档,但是实际的效果不理想,回答的出入比较大,可能的原因是文档格式,以及中文的原因吧
- 优点:embeding,文档索引的速度很快,几十兆的文档,很快就扫描完了,建立索引了
遇到的问题
- 在install的时候,NVIDIA installer failed
- windows10系统问题导致的? 还是因为vpn的问题被拦截掉了?模型的很大,在35G左右
- 经过替换魔法之后就可以使用了