山东大学软件学院创新实训周报6（5.13~5.19）

锦尘233

已于 2024-05-31 00:36:13 修改

阅读量156

点赞数 2

分类专栏：山东大学软件学院创新实训文章标签：机器学习语言模型

于 2024-05-23 00:33:25 首次发布

本文链接：https://blog.csdn.net/m0_62303445/article/details/139132797

版权

山东大学软件学院创新实训专栏收录该内容

8 篇文章 0 订阅

订阅专栏

引言

在本周的工作中，我们的大模型组着力于使用ChatGLM结合LangChain知识库的形式扩充模型。此项工作旨在通过检索增强生成（RAG，Retrieval-Augmented Generation）技术，将语言模型与知识库无缝集成，提升问答系统的准确性和响应能力。通过这一过程，我们希望构建一个高效、智能的问答系统，能够在大规模数据环境下提供精确且快速的答案。

大模型组工作详情

任务背景和目的

在现代智能问答系统中，单纯依赖语言模型（如ChatGLM）可能会面临知识更新不及时和准确率不足的问题。为了解决这一问题，我们引入LangChain知识库，通过将其与ChatGLM模型集成，实现知识的实时更新和精确检索，从而提高系统的回答准确性和用户满意度。

LangChain工具介绍

LangChain是一个专为构建智能问答系统而设计的工具，提供了灵活的接口和强大的检索能力。通过LangChain，可以将多种知识库（如文本数据库、知识图谱）与语言模型集成，实现信息的高效检索和自然语言生成。

数据接口设计和实现

API设计

为了实现ChatGLM和LangChain知识库之间的数据交互，我们设计了RESTful API接口。API支持多种查询类型，如实体查询、关系查询和文本检索，确保数据能够在不同模块间顺畅流通。

以下是API设计的示例：

from flask import Flask, request, jsonify

app = Flask(__name__)

@app.route('/query', methods=['POST'])
def query():
    data = request.json
    query_type = data.get('type')
    query_text = data.get('query')

    if query_type == 'entity':
        response = get_entity_info(query_text)
    elif query_type == 'relation':
        response = get_relation_info(query_text)
    elif query_type == 'text':
        response = get_text_info(query_text)
    else:
        response = {'error': 'Invalid query type'}

    return jsonify(response)

def get_entity_info(query):
    # 模拟从LangChain知识库中获取实体信息
    return {'entity': query, 'info': 'Sample entity information'}

def get_relation_info(query):
    # 模拟从LangChain知识库中获取关系信息
    return {'entity': query, 'relation': 'Sample relation information'}

def get_text_info(query):
    # 模拟从LangChain知识库中获取文本信息
    return {'query': query, 'text': 'Sample text information'}

if __name__ == '__main__':
    app.run(debug=True)

数据格式转换和传输

在接口设计中，我们采用JSON格式进行数据传输，确保数据格式统一且易于解析。数据格式转换包括将知识库中的结构化数据转换为语言模型可以处理的格式，如文本或嵌入向量。

系统集成

ChatGLM和知识库的融合方法

为了实现ChatGLM与知识库的无缝融合，我们采用了RAG技术。该技术结合了信息检索和生成模型，通过先检索相关知识，再生成回答的方式，提升回答的准确性和上下文理解能力。

以下是融合方法的示例代码：

from transformers import AutoModel, AutoTokenizer
from langchain import LangChain

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b")
model = AutoModel.from_pretrained("THUDM/chatglm3-6b")

def retrieve_and_generate(question):
    # 检索相关知识
    knowledge = LangChain.retrieve(question)
    # 将知识传递给语言模型生成回答
    inputs = tokenizer(question + knowledge, return_tensors="pt")
    outputs = model.generate(**inputs)
    answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return answer

question = "李白的代表作品有哪些？"
answer = retrieve_and_generate(question)
print(answer)