【AI大模型应用开发】【LangChain系列】7. LangServe：轻松将你的LangChain程序部署成服务

最新推荐文章于 2024-08-21 10:10:32 发布
最新推荐文章于 2024-08-21 10:10:32 发布
阅读量1.6k 收藏 12
点赞数 4
分类专栏： 大模型 文章标签： langchain 人工智能 python 笔记 gpt agi 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Attitude93/article/details/136046872
版权
本文介绍了如何使用LangServe将基于Chain或Runnable的AI模型转化为RESTAPI服务，包括服务端代码示例、客户端调用以及Uvicorn服务器的使用。重点讲解了`add_routes`函数的应用和部署过程。
摘要由CSDN通过智能技术生成

大家好，我是【同学小张】。持续学习，持续干货输出，关注我，跟我一起学AI大模型技能。

LangServe 用于将 Chain 或者 Runnable 部署成一个 REST API 服务。

0. 安装

  • 同时安装langserve的服务端和客户端。
pip install "langserve[all]"
  • 只安装客户端
pip install "langserve[client]"
  • 只安装服务端
pip install "langserve[server]"

1. 代码及运行结果

1.1 服务端代码


                

                
                
        

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  同学小张
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
【LangChain编程：从入门到实践】使用LangServe提供服务

				
			

			

				

					AGI通用人工智能之禅
				

				

					07-18
					
					48
					
				

			

		

		

			
				
【LangChain编程：从入门到实践】使用LangServe提供服务
作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming
关键词：LangChain, LangServe, 微服务架构, API设计, 端到端解决方案

			
		

	



                

              
                



	

		

			

				
					
探索高效能的自然语言处理：LangServe - 您的REST API解决方案

				
			

			

				

					gitblog_00048的博客
				

				

					05-15
					
					419
					
				

			

		

		

			
				
探索高效能的自然语言处理：LangServe - 您的REST API解决方案

    
        
            langserve
            LangServe ????️????
            
                项目地址: https://gitcode.com/gh_mirrors/la/langserve
            
     ...

			
		

	



                


  
              

                


	

		

			

				
					
LangChain、LangServe、LangSmith 和 LangGraph区分

				
			

			

				

					荣山的博客
				

				

					08-18
					
					438
					
				

			

		

		

			
				
LangChain 提供了一种模块化的方法来组合不同的组件，如提示工程、文档检索、API 调用等，以创建复杂的自然语言处理应用。LangSmith 是一个用于测试、评估和监控语言模型的平台。LangGraph 是一种技术栈或框架，用于构建和查询基于图的语言处理应用。LangChain、LangServe、LangSmith 和 LangGraph 分别代表了不同的概念和技术，它们在自然语言处理（NLP）和人工智能领域各有侧重。LangServe 可能是指一种服务或框架，用于部署语言模型的API接口。

			
		

	





	

		

			

				
					
LangChain LangServe 学习笔记

				
			

			

				

					engchina的专栏
				

				

					04-14
					
					1398
					
				

			

		

		

			
				
LangChain LangServe 学习笔记

			
		

	



		

			
		



	

		

			

				
					
langchain 部署组件-LangServe

				
			

			

				

					张伟的专栏
				

				

					11-22
					
					823
					
				

			

		

		

			
				
【代码】langchain 部署组件-LangServe。

			
		

	





	

		

			

				
					
LangChain 22 LangServe用于一键部署LangChain应用程序

				
			

			

				

					AI架构师易筋
				

				

					12-07
					
					3273
					
				

			

		

		

			
				
LangServe帮助开发人员将LangChain部署为REST API。该库集成了，并使用进行数据验证。此外，它提供了一个客户端，可用于调用部署在服务器上的可运行程序。中提供了一个JavaScript客户端。

			
		

	





	

		

			

				
					
探索LangChain Serve：一个高效的语言模型服务框架

				
			

			

				

					gitblog_00052的博客
				

				

					03-25
					
					348
					
				

			

		

		

			
				
探索LangChain Serve：一个高效的语言模型服务框架
 langchain-serve⚡ Langchain apps in production using Jina & FastAPI项目地址:https://gitcode.com/gh_mirrors/la/langchain-serve 是由Jina AI开发的一个强大而灵活的框架，专为构建和部署大规模语言模型服务而设计。这个项...

			
		

	





	

		

			

				
					
LLMs之LangChain：LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为API)的基础使用案例教程—利用LangChain开发和构建LLM的应用程

				
			

			

				

					近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
				

				

					04-11
					
					1972
					
				

			

		

		

			
				
​
LLMs之LangChain：LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为API)的基础使用案例教程—利用LangChain开发和构建LLM的应用程序(构建LLM链/检索链/对话检索链/构建Agent)代码实现教程之详细攻略

目录

LangChain(开发和构建)、LangSmith(生产化/跟踪)、LangServe(部署为API)的基础使用案例教程—利用LangChain开发和构建LLM的应用程序(构建LLM链/检索链/对话检索链/构建Agen

			
		

	





	

		

			

				
					
【AI大模型应用开发】【LangChain系列】0. LangChain框架介绍，实现LangChain的Hello World

				
			

			

				

					同学小张的博客
				

				

					02-04
					
					1598
					
				

			

		

		

			
				
LangChain是一个面向大模型的开发框架（SDK）。本文对 LangChain 系列开个头，介绍了其架构，并用LangChain写了第一个程序。

			
		

	





	

		

			

				
					
大模型技术学习系列(4): langchain+ollama构建本地大模型应用

				
			

			

				

					u011160113的博客
				

				

					07-20
					
					1276
					
				

			

		

		

			
				
本章主要阐述了本地构建基于大模型的应用程序的过程。从资源准备分析到实际搭建，一步步的指导应该如何在本地搭建一个基于大模型的应用程序。

			
		

	





	

		

			

				
					
go-langserver:Go语言服务器，可为使用语言服务器协议（LSP）的编辑器和其他工具添加Go支持

				
			

			

				

					03-22
				

			

		

		

			
				
Go语言服务器
 注意：我们已取消优先处理此语言服务器上的工作，以便在编辑器中使用，而优先使用Google的Go语言服务器 。 仅拥有一个语言服务器符合社区的最大利益。
 go-langserver是使用的语言服务器。 它支持编辑器功能，例如转到项目的定义，悬停以及Go项目的查找引用。
要构建和安装独立的go-langserver运行
go get -u github.com/sourcegraph/go-langserver
支持
徘徊
跳到def
 查找参考
工作区符号
VFS扩展
隔离的
平行线
去
 :check_mark: 
 :check_mark: 
 :check_mark: 
 :check_mark: 
 :check_mark: 
 :check_mark: 
 :check_mark:
初始化选项
如果您是要集成go-langserver的客户端，则可以在请求中将以下内容用作initializationOptions来调整行为：
 interface GoInitializationOptions {
  /**
 

			
		

	





	

		

			

				
					
langserver-swift, 开放式语言服务器协议的快速实现.zip

				
			

			

				

					09-17
				

			

		

		

			
				
langserver-swift, 开放式语言服务器协议的快速实现 Swift 语言服务器 概述开放语言服务器协议的Swift 实现。 语言服务器协议在工具( 客户端) 和语言精美提供者( 服务器) 之间使用，以集成自动完成。当前，这里实现由 Swift 用于 Visual

			
		

	





	

		

			

				
					
AI大模型探索之路-应用篇8：Langchain框架LangServe模块-专注于AI模型的部署

				
			

			

				

					寻道码路，探索编程之路的无限可能。
				

				

					04-11
					
					1601
					
				

			

		

		

			
				
随着AI大语言模型（LLM）的技术的不断演进，AI应用的开发和部署变得越来越复杂。在这样的背景下，LangServe应运而生——一个旨在简化AI服务部署和运维的框架。专为大模语言模型（LLM）的部署和管理而设计；本篇旨在讲解LangServe的功能特点和实践运用。

			
		

	





	

		

			

				
					
️ LangServe

				
			

			

				

					AI + 工程
				

				

					05-20
					
					1469
					
				

			

		

		

			
				
一、关于 LangServe
特点
局限性
Hosted LangServe
安全
二、安装使用
安装
浪链 CLI
三、启动
四、示例
五、应用示例
服务器
API参考：
六、文档
客户端
API参考：
七、Endpoints
八、Playground
Widgets
Sharing
九、Chat playground
十、Legacy Chains
十一、部署
1、部署到 AWS
2、部署到 Azure
3、部署到 GCP
4、社区贡献
部署到 Railway
十二、Pydantic
十三、高级
1、处

			
		

	





	

		

			

				
					
基于 Langchain 和 Langchain-serve 的智能文档问答系统

				
			

			

				

					2401_85328934的博客
				

				

					05-31
					
					892
					
				

			

		

		

			
				
首先来谈下这个项目的背景。JINA AI作为开源软件的公司，维护了很多开源项目。那在此过程中，每天都会收到来自开源社区的大量问题，这间接导致工程师们每天要花很多时间去回答用户的问题。因此，基于此背景下，也就有了现在这个智能文档问答系统。首先先简单看下整个问答系统的定义。整个输入包含：用户的问题，还有完整的文档集合。而输出就是，问题的答案。

			
		

	





	

		

			

				
					
使用 LangServe 构建和部署 MinIO 支持的 LangChain Agent API

				
			

			

				

					MinIO
				

				

					06-21
					
					969
					
				

			

		

		

			
				
最后，为了完成我们的agent.py代理，我们定义了我们的代理并创建了一个 AgentExecutor，可以使用 LangServe 库中的add_route函数从server.py脚本导入和调用它。我们实例化必要的组件并将它们链接在一起以创建单个代理变量。agent = (代理是使用字典和链式操作的组合来定义的。输入键从传入数据中提取用户输入，而键则使用该函数格式化代理思维过程的中间步骤。代理还合并了提示模板 （）、带有工具的语言模型 （） 和输出解析器 （为了创建一个。

			
		

	





	

		

			

				
					
LangChain-Serve 开源项目教程

					
最新发布

				
			

			

				

					gitblog_01195的博客
				

				

					08-21
					
					388
					
				

			

		

		

			
				
LangChain-Serve 开源项目教程
 langchain-serve⚡ Langchain apps in production using Jina & FastAPI项目地址:https://gitcode.com/gh_mirrors/la/langchain-serve 1. 项目的目录结构及介绍
LangChain-Serve 项目的目录结构如下：
langchain-serv...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
同学小张

			
如果觉得有帮助，欢迎给我鼓励！

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值