- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Nvidia ChatRTX更新体验：增加图像搜索、语音识别和中文模型
首先简要介绍了ChatRTX的新特性，接着描述了软件安装过程和大语言模型在低内存显卡的配置过程，然后测试了以文搜图结果，分别以英文和中文测试了不同语言模型的回答结果，Google的Gemma的中文表现不错，让人感到惊喜。最后，还比较了与上一个版本(Chat with RTX)在安装包内容、安装后组件的主要区别。各大厂商和开源社区纷纷对LLM+RAG的AI应用持续发力，似乎指明了该方向的发展潜力。
2024-05-09 20:08:53
1068
2
原创 基于Ollama+AnythingLLM搭建本地私有知识库系统
本文介绍了LLM在落地应用中的不足，并引入了RAG框架和原理，以及RAG在私有知识库建设中的重要作用。并以Ollama和AnythingLLM为实现手段，构建了并测试了本地知识库，测试结果表明，有了RAG的加持，LLM的回答结果更加贴切，有效。
2024-04-30 20:15:39
2498
3
原创 Windows 11安装 Docker Desktop
Docker已经成为一个项目部署和运维的重要工具。本文简要介绍了Windows 11环境下，基于WSL的 Docker Desktop 安装和初步测试。
2024-04-29 21:09:01
862
原创 Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）
本文以Stable Diffusion为例，由难及易演示了手动、自动和整合包三种部署方式，并分析了这三种方式在虚拟环境创建、程序部署、数据下载部署等复杂动作的具体过程，为一键式自动部署提供了良好的借鉴，进一步促进AIGC的普惠应用。
2024-04-26 21:01:15
1992
8
原创 Window 11本地部署 Meta Llama3-8b
近年来，随着大语言模型的飞速发展，大模型的本地化部署和应用技术也得到了充分重视，各种一键式安装程序层出不穷，大大降低了大模型的部署复杂性，进一步促进了大模型的应用。本文采用Ollama安装和部署Llama3，并利用开源WebUI接入，整个过程非常简单高效。
2024-04-23 15:18:57
1756
原创 基于ONNX Runtime的PaddleOCR本地C#部署流程
将训练完成的神经网络模型转换为通用的标准ONNX格式，可以脱离原先的训练环境，在部署上带来更大的灵活性。本文以PaddleOCR ONNX模型在.NET环境下基于ONNX Runtime的推理为例，简要介绍了ONNX Runtime安装和输入适配和输出解码过程。
2024-04-19 20:47:33
965
1
转载 Chat With RTX安装及中文大语言模型配置与使用体验
Chat with RTX是Nvidia发布的一款运行在PC或工作站上本地应用程序，它基于Mistral/Llama2等先进大语言模型，借助检索增强生成、NVIDIA TensorRT-LLM 软件及NVIDIA RTX加速技术，使模型与Nvidia Tensor核心的计算能力相结合，促进快速、准确的数据查询，并可确保敏感数据保留在用户设备的范围内，提供云上人工智能服务无法比拟的隐私和数据安全级别。本文简要介绍了软件安装、大语言模型构建配置和测试体验。
2024-03-27 12:02:40
2297
5
roboform 7.9
2013-06-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人