开源模型应用落地-LangChain高阶-GPU调用QWen1.5(二)

本篇博客介绍了如何利用LangChain框架结合QWen1.5模型在GPU上实现多轮对话。LangChain是一个方便开发者使用大语言模型的工具,具备连接多种数据源、语言模型交互等功能。文章详细阐述了LangChain的术语,如ConversationBufferMemory,以及Hugging Face和Transformers库。同时,提到了在实际操作中遇到的GPU加载模型的问题及其解决方案。
摘要由CSDN通过智能技术生成

  一、前言

    通过langchain框架调用本地模型,使得用户可以直接提出问题或发送指令,而无需担心具体的步骤或流程。langchain会自动将任务分解为多个子任务,并将它们传递给适合的语言模型进行处理。

    本篇将通过LangChain调用QWen1.5模型实现多轮对话场景

    基础调用方式请参考:开源模型应用落地-LangChain试炼-CPU调用QWen1.5(一) 


二、术语

2.1.LangChain

    是一个全方位的、基于大语言模型这种预测能力的应用开发工具。LangChain的预构建链功能,就像乐高积木一样,无论你是新手还是经验丰富的开发者,都可以选择适合自己的部分快速构建项目。对于希望进行更深入工作的开发者,LangChain 提供的模块化组件则允许你根据自己的需求定制和创建应用中的功能链条。

    LangChain本质上就是对各种大模型提供的API的套壳,是为了方便我们使用这些 API,搭建起来的一些框架、模块和接口。

   LangChain的主要特性:
        1.可以连

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

开源技术探险家

以微薄之力温暖这个世界

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值