“ langchain,在大模型之上构建应用的脚手架**”**
在大模型之上构建应用需要很多的步骤,比如文档加载,数据库读取,大模型加载,以及各个环节的连接等。
因此,就有了langchain这个开发框架,它的功能就是把大模型开发过程中需要的常见问题整合在一块,方便开发者。
当然,不使用langchain是否能构建上层应用?
答案是可以,但会很麻烦。
langchain官网地址:`` ``https://www.langchain.com/
01
—
什么是langchain?
简单来说,langchain是一款开发框架,它的作用就是简化开发者的开发流程,让开发者能够把精力集中在具体的业务中,而不是一大堆繁杂的准备工作中。
举例来说,构建一个人工智能的应用,可能既需要文字生成,又需要图片处理,还需要进行分类等;这时一个大模型可能无法同时满足这几个要求。
因此,如果要同时调用多个大模型的功能,这时每一个大模型都需要接口调用处理等。
比如,在大模型的加载中就有第三方服务比如chatGPT,通义千问等;还有开源模型的加载,比如huggingface上的开源模型,还有一些本地大模型服务部署的框架如ollama/gpt4all/llstudio等,还包括自己开发的大模型框架,如使用pytorch,tensorflow开发的模型。
不同的模型具有不同的加载方式,如果全部自己手动开发,那么将会耽误大量的时间,而且还可能存在各种问题。
再加上当前大模型+知识库的爆火,有知识库给大模型做资料库,这时就需要把知识库集成到应用中。就一个知识库就涉及到文档加载,向量数据库,资料存储与搜索等多个功能。
这些功能很重要,但它们都属于具体业务的支撑技术,这样就会导致开发人员需要大量的时间和精力来处理这些边缘又重要的任务。
因此langchain就出现了,langchain封装了很多技术细节,开发者只需要按照它的要求进行简单的调用就可以完成以上功能,大大简化了开发人员的流程。
02
—
langchain的核心功能模块
- 模型(model i/o)
模型模块的功能主要就是各种模型的加载,由langchain官网提供了多种模型的加载包,比如通过网络调用openAI的接口,调用huggingface接口和自定义模型接口等。
- 提示(prompt)
提示的作用就是prompt工程,因为当前的大模型还不够智能,所以良好的提示词会获得更好的回应。因此,就诞生了提示词工程,其作用就是更好的提问。
- 索引(index)
索引模块的作用主要用来加载外部文档,比如知识库,搜索引擎等。此模块可以从外部网络中加载文档并输入到大模型中,以助于可以让我们得到更好的处理结果;文档格式也是多种多样,比如txt,word,pdf,数据库等。
- 内存(memory)
这里内存的作用是用来记录历史记录,在大模型的交互中大模型本身没用记录历史提问的功能,所以需要自己做历史记录,然后再次访问的时候,把历史记录一块带着。
- 链(chain)
链是langchain中的核心模块,其作用是把多个步骤串成一条调用链,比如先获取用户输入之后,先调用知识库获取资料,在调用文本生成模型生成文本,再调用图片生成功能生成图片等。
链就可以把上述功能给串起来,简化操作,即把上层的输出作为下层的输入。
- 代理(agent)
在应用的构建中可能会用到很多第三方的功能或插件,比如需要搜索功能就要调用谷歌或百度的搜索接口,需要控制机械手臂完成动作也需要调用其接口。
而这就是代理模块的作用,也叫做AI agent,作用相当于大模型的手和脚,也是大模型与工业领域结合的方向。
那么,如何系统的去学习大模型LLM?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ,朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》,扫码获取~
篇幅有限,部分资料如下:
👉LLM大模型学习指南+路线汇总👈
💥大模型入门要点,扫盲必看!
💥既然要系统的学习大模型,那么学习路线是必不可少的,这份路线能帮助你快速梳理知识,形成自己的体系。
路线图很大就不一一展示了 (文末领取)
👉大模型入门实战训练👈
💥光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉国内企业大模型落地应用案例👈
💥两本《中国大模型落地应用案例集》 收录了近两年151个优秀的大模型落地应用案例,这些案例覆盖了金融、医疗、教育、交通、制造等众多领域,无论是对于大模型技术的研究者,还是对于希望了解大模型技术在实际业务中如何应用的业内人士,都具有很高的参考价值。 (文末领取)
👉GitHub海量高星开源项目👈
💥收集整理了海量的开源项目,地址、代码、文档等等全都下载共享给大家一起学习!
👉LLM大模型学习视频👈
💥观看零基础学习书籍和视频,看书籍和视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。 (文末领取)
👉640份大模型行业报告(持续更新)👈
💥包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
👉获取方式:
这份完整版的大模型 LLM 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓