基于本地大模型的应用系统设计

最新推荐文章于 2024-09-14 09:59:20 发布

fertiland

最新推荐文章于 2024-09-14 09:59:20 发布

阅读量402

点赞数 4

分类专栏：大模型文章标签：深度学习

本文链接：https://blog.csdn.net/fertiland/article/details/141103475

版权

大模型专栏收录该内容

1 篇文章 0 订阅

订阅专栏

基于本地大模型的RAG应用系统设计

背景介绍
本地搭建大模型环境
- ollama
- huggingface
RAG详解
- embedding
- graphRAG
面向LLM chatting模式应用设计

背景介绍

最近从本地运行大模型中，深刻折服于本地运行大模型的种种魅力，或许GPU的开销会让你止步，但某一些应用场景，比如知识库系统或文本集中的相关任务，用cpu也可以玩起来。学习大模型, 跟人类学习使用电话，甚至电灯一类一样，门槛其实没有那么高，大模型也并不像各大培训课程，或排满数学公式的的书籍，以及试图介绍深层神经网络的科普知识等讲得那么玄乎其技。

大模型就是我们未来身边的一个辅助工具，如同手机，从一个简单的通讯工具，变成了多功能符合智能载体，而大模型未来也只是我们身边的一个强力工具，它会像手机一样的广泛使用的超级工具，各种衣食住行，医疗诊断、政务、银行金融、炒股投资等，都无一例外会被大模型统治着…

在这样的形势下，大模型并非会让社会进入一种被机器奴隶的状态，相反，只是在这场人工智能大变革的时代，人们逐步演化成两类：一类会使用大模型工具，继续优胜；一类，不会使用大模型工具，逐步淘汰。无论是过去体力劳动革命，还是现在方兴未艾的脑力劳动革命，人类一如既往地向前发展，继续延续着优胜劣汰的故事。

毫无疑问，线性代数，微积分，概率统计等数学基础，对于深度学习，generative AI等都是无法绕开的必经之路，但是，并不是所有的人都要进入到大模型的这个深度。就如同，我们使用电灯，我们只要明白一些基本的电常识，知道电压、电流，火线、零线，并联、串联，知道开关控制，明白保险丝的断流作用等，那基本日常用电需求基本对普通人没有啥障碍，甚至加上一点辅助工具，比如电笔、绝缘胶带、几段电线，基本日常维护，也不是太大的问题。推而广之，本文也是想从这个角度，尝试阐述一下大模型的应用，希望人人都能快速使用大模型。