LangChain核心组件

一、LangChain架构设计理念

核心组件：

1. Model I/O：统一模型接口（如ChatOpenAI）
2. Chains：构建复杂处理流程的原子操作链
3. Memory：对话状态管理
4. Indexes：文档处理与检索增强生成（RAG）

---

二、生产级模型配置实践

from langchain.chat_models import ChatOpenAI

llm = ChatOpenAI(
    temperature=0.8,            # 创造性控制（0-1）
    model="Qwen-7B",            # 模型标识符
    openai_api_key="EMPTY",     # 本地服务认证占位符
    openai_api_base="http://localhost:6006/v1"  # 本地端点
)

工程优化建议：

1. 连接池配置（提升吞吐量）：

import httpx

transport = httpx.HTTPTransport(
    retries=3, 
    limits=httpx.Limits(max_connections=100)
)
llm.client = httpx.Client(transport=transport)

2. 流式输出优化：

response = llm.stream("解释BERT模型原理")
for chunk in response:
    print(chunk.content, end="", flush=True)

---

三、核心模块开发示例

1. 智能文档问答系统（RAG架构）

from langchain.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.vectorstores import FAISS

# 文档处理流水线
loader = PyPDFLoader("transformer.pdf")
documents = loader.load()

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=512, 
    chunk_overlap=64  # 上下文重叠防信息丢失
)
texts = text_splitter.split_documents(documents)

# 本地嵌入模型（节省API调用）
embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-base-zh")
vector_store = FAISS.from_documents(texts, embeddings)

2. 混合检索链

from langchain.chains import RetrievalQA

qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vector_store.as_retriever(search_kwargs={"k": 3}),
    return_source_documents=True
)

response = qa_chain("Attention机制的核心公式是什么？")
print(f"答案：{response['result']}\n来源：{response['source_documents'][0].metadata['source']}")

---

四、企业级部署方案

1. 服务封装（FastAPI+LangChain）

from fastapi import FastAPI
from pydantic import BaseModel

app = FastAPI()

class QueryRequest(BaseModel):
    prompt: str
    max_tokens: int = 512

@app.post("/v1/chat")
async def chat_endpoint(request: QueryRequest):
    response = llm.invoke(request.prompt)
    return {"response": response.content}

2. 性能监控配置

# 添加Prometheus监控指标
from prometheus_client import Counter, Histogram

REQUEST_COUNT = Counter(
    'langchain_requests_total',
    'Total number of model requests'
)
RESPONSE_TIME = Histogram(
    'langchain_response_time_seconds',
    'Histogram of response times'
)

@RESPONSE_TIME.time()
def monitored_invoke(prompt):
    REQUEST_COUNT.inc()
    return llm.invoke(prompt)

---

五、调试与优化技巧

1. LangSmith跟踪：

import os
os.environ["LANGCHAIN_TRACING"] = "true"
os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"

2. 显存优化策略：

# 启用Flash Attention（需CUDA支持）
from transformers import AutoModel
model = AutoModel.from_pretrained(
    "Qwen/Qwen-7B", 
    torch_dtype=torch.bfloat16, 
    use_flash_attention_2=True
)

---

六、典型应用场景

场景	技术方案	关键配置参数
智能客服	ConversationChain + Redis	memory_window=5
代码审查	CodeAnalysisAgent	temperature=0.2
舆情分析	SentimentAnalysisPipeline	batch_size=32