使用LLM进行实体识别+格式化输出

使用LLM进行实体识别+格式化输出

本篇文章在原理的基础上，使用langchain总结了一套流程（在文章的末尾给出），同时构建了两个函数来优化在少量提示词的情况下，LLM输出不稳定的问题

一个解析函数，一个校验函数

实体识别+格式化输出

import os
from dotenv import load_dotenv, find_dotenv
load_dotenv() *# read local .env file*
API_KEY = os.getenv('openai_api_key') 

# 定义实体字段*

from langchain.chat_models import ChatOpenAI
from dotenv import load_dotenv
from langchain.prompts import PromptTemplate
from langchain.output_parsers import ResponseSchema, StructuredOutputParser

load_dotenv()
llm = ChatOpenAI(model_name='gpt-3.5-turbo-1106',temperature=0,openai_api_key=API_KEY) 

# 定义实体字段
response_schemas = [
        ResponseSchema(type='list', name ='disease', description='疾病名称实体'),
        ResponseSchema(type='list', name = 'symptom', description='疾病症状实体'),
        ResponseSchema(type='list', name = 'drug', description = '药物名称实体'),
]

output_parser = StructuredOutputParser.from_response_schemas(response_schemas)
format_instructions = output_parser.get_format_instructions()
# print(response_schemas)
print(format_instructions,type(format_instructions))

# 定义提示词模版
template = '''
\1. 从以下用户输入的句子中，提取实体内容
\2. 仅根据用户输入抽取，不要推理
\3. 注意json格式，在json中不要出现//
\4. 如果字段为空，也需要保留字段名称。

{format_instructions}

用户输入：{input}

输出：
'''

prompt = PromptTemplate(
     template = template,
     partial_variables = {'format_instructions': format_instructions},
     input_variables = ['input']
)


*# prompt = prompt.format(input='感冒是一种什么病？')*

prompt 

PromptTemplate(input_variables=[‘input’], partial_variables={‘format_instructions’: 'The output should be a ma

# 调用大模型并解析结果
from langchain.chains import LLMChain

chain = LLMChain(
    llm = llm,
    prompt = prompt
)



llm_output = chain.run(input='感冒是一种什么病？会导致咳嗽吗？')

*# llm_output = chain.run(input = '感冒吃什么药好得快？可以吃阿莫西林吗？')*
print(llm_output)
*# output = output_parser.parse(llm_output)*
*# print(output, type(output))* 

 import re
import json
def parse_json(input_str: str):
    
   # 定义正则表达式模式，用于匹配以```json开头，以```结尾的字符串*
   pattern = r'```json(.*?)```'
    
   # 使用正则表达式搜索匹配的内容*
   match = re.search(pattern, input_str, re.DOTALL)

​   if match:
​       # 提取匹配到的JSON字符串*
​       json_str = json.loads(match.group(1))
​        
​       return json_str
​   else:
​       returnNone 

1. 些时候可能由于提示词模版的原因，在一些文本中可能不包含某种key，大模型的输出很可能包含不完全的定义key—_value,
2. 因此解析结果可能与原json格式相比缺少一些项这里我们写一个比较函数，自动对齐定义格式，缺少的项，填充null

original_key = ['disease','symptom','drug']

def check_and_addition(original_key:dict,af_json:dict)->dict:
    if len(af_json)!= len(orignal_key):
        keys = original_key
        for t in keys:
            if t notin af_json:
                af_json[t] = "null"
    result = af_json
    return result
check_and_addition(original_key,parse_json(llm_output)) 

{‘disease’: [‘感冒’], ‘symptom’: [‘咳嗽’], ‘drug’: ‘null’}
总结一下ouputParse的流程：
在这里插入图片描述
​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。