教程 | 使用大模型将文本数据转化为结构化数据

江湖人称麻花滕

于 2025-02-18 20:11:24 发布

阅读量2k

点赞数 27

文章标签：语言模型 transformer 人工智能 langchain milvus

本文链接：https://blog.csdn.net/m0_59235699/article/details/145713797

版权

一、文本分析

文本分析（也称为文本挖掘或自然语言处理，NLP）是指使用计算机算法和技术从大量文本数据中提取有价值信息的过程。文本分析的目标是从非结构化的文本数据中识别模式、提取关键信息、理解语义，并将其转化为结构化数据以便进一步分析和应用。常用的文本分析方法有:

词频统计
情感分析
文本分类
话题分析
…

二、大模型云服务商

随着chatGPT、deepseek、通义千问这类大语言模型(LLM, large language model)的出现，它们增强了文本理解能力，能够更精准的把握文本中的语义和情绪等信息，使得文本分析任务实现难度大大降低。

一般大模型服务提供商，有免费开源和封闭付费两种服务。

免费模型，可通过 Ollama 本地部署。
付费模型，账户有钱的情况下，通过联网调用大模型厂商的API接口。

使用Python代码，联网调用大模型的API，我们首先需要确定三个

BASE_URL 服务提供商运行大模型的网址。如果是本地离线， BASE_URL = ‘’
API_KEY 调用服务所需密钥，类似于钥匙
MODEL_NAME 调用哪种模型(名字)

阿里云不需要注册，支付宝扫码登录，即可调用市面上常见的大模型，如_通义千问qwen、Llama、deepseek、chatGLM等。现在我们以阿里云服务商为例，依次获取BASE_URL、API_KEY、MODEL_NAME_。

2.1 BASE_URL

阿里云运行大模型的网址 BASE_URL 为 https://dashscope.aliyuncs.com/compatible-mode/v1

2.2 API_KEY

点击阿里云百炼https://bailian.console.aliyun.com/，打开后点击右上角图标，在下拉菜单中单击API-KEY。

在左侧导航栏，选择 全部API-KEY 或 我的API-KEY ，然后创建（图中位置①）或查看（图中位置②）API Key。

注意: 请不要将 API Key 以任何方式公开，避免因未经授权的使用造成安全风险或资金损失。

2.3 MODEL_NAME

通义千问的模型列表https://help.aliyun.com/zh/model-studio/getting-started/models，根据任务需要，选择适合的模型。

上图仅展示了阿里云服务提供的部分大模型，以通义千问旗舰模型为例， MODEL_NAME模型名分别为qwen-max、qwen-plus、qwen-turbo、qwen-long。

三、环境配置

在Python中调用大模型，不论是本地离线API还是云服务API，先要配置好相应的环境。本文使用_Ollama+cntext2.x_

3.1 安装软件Ollama

Ollama是一款开源应用程序，可让您使用 MacOS、Linux 和 Windows 上的命令行界面在本地运行、创建和共享大型语言模型。

Ollama 可以直接从其库中访问各种 LLM，只需一个命令即可下载。下载后，只需执行一个命令即可开始使用。这对于工作量围绕终端窗口的用户非常有帮助。Ollama的安装、配置、使用的详细教程可阅读 教程 | 如何使用 Ollama 下载 & 使用本地大语言模型

3.2 安装cntext2.x

cntext2.x是大邓开发的文本分析库，内置了丰富的文本分析函数，如词频统计、词典法情感分析、经济政策不确定性epu等，大大降低了文本分析难度。以本文大模型文本分析为例， Python源代码需要 80+ 行，经过大邓封装，使用cntext2.x内置函数 analysis_by_llm 仅需要不到 5 行代码。

安装包cntext-2.1.4-py3-none-any.whl 是付费内容(100元)，如需使用加微信: 372335839，备注**「姓名-学校-专业-cntext」**

所有 cntext2.x 安装方法类似，以目前 cntext2.1.4 为例，将 cntext-2.1.4-py3-none-any.whl 放置于桌面，打开 cmd (苹果电脑打开terminal)，输入 cd desktop

cd desktop

之后在 cmd (苹果电脑打开terminal) 中使用 pip3 安装

pip3 install cntext-2.1.4-py3-none-any.whl

需要注意， cntext2.x使用环境为Python3.8及以上版本；文章开头和文章末都有 cntext-2.1.4-py3-none-any.whl 获取方式说明。

四、实验代码

实验数据为外卖评论，今天咱们做个有难度的任务，从不同维度(味道、速度、服务)对外卖评论进行打分(-1.0~1.0)。

4.1 读取数据

import pandas as pd  
  
#构造实验数据  
data = ['速度非常快，口味非常好， 服务非常棒！',   
        '送餐时间还是比较久',  
        '送单很快，菜也不错赞',  
        '太难吃了']  
df = pd.DataFrame(data, columns=['comment'])  
  
#假设有外卖评论数据集data.csv， 文件内有字段comment， 直接读取数据。  
#df = pd.read_csv('data.csv')  
df

4.2 小实验

4.2.1 本地模型

使用 cntext2.x 调用本地电脑安装的大模型进行文本分析，不需要设置_BASE_URL、API_KEY这两个_参数。

import cntext as ct  
  
PROMPT = '从口味taste、速度speed、服务service三个维度， 对外卖评论内容进行文本分析， 分别返回不同维度的分值(分值范围-1.0 ~ 1.0)'  
MODEL_NAME = 'qwen2.5:7b'  
  
#味道、速度、服务  
OUTPUT_FORMAT = {'taste': float, 'speed': float, 'service': float}  
  
COMMENT_CONTENT = '太难吃了'  
  
result = ct.analysis_by_llm(text=COMMENT_CONTENT,   
                            prompt=PROMPT,  
                            model_name=MODEL_NAME,   
                            output_format={'taste': float, 'speed': float, 'service': float},   
                            max_retries=3,    
                            return_df=False)  
  
result

Run

{'taste': -1.0, 'speed': 0.0, 'service': 0.0}

4.2.2 云服务商API

使用 cntext2.x 调用云服务商大模型进行文本分析，需要设置_BASE_URL、API_KEY_等参数。

import cntext as ct  
  
PROMPT = '从口味taste、速度speed、服务service三个维度， 对外卖评论内容进行文本分析， 分别返回不同维度的分值(分值范围-1.0 ~ 1.0)'  
BASE_URL = 'https://dashscope.aliyuncs.com/compatible-mode/v1'  
API_KEY = '你的API-KEY'  
MODEL_NAME = 'qwen-max'  
  
#味道、速度、服务  
OUTPUT_FORMAT = {'taste': float, 'speed': float, 'service': float}  
  
COMMENT_CONTENT = '太难吃了'  
  
result = ct.analysis_by_llm(text=COMMENT_CONTENT,   
                            prompt=PROMPT,  
                            base_url=BASE_URL,   
                            api_key=API_KEY,   
                            model_name=MODEL_NAME,   
                            output_format=OUTPUT_FORMAT,   
                            max_retries=3,    
                            return_df=False)  
  
result

Run

{'taste': -1.0, 'speed': 0.0, 'service': 0.0}

小实验成功，现在设计分析函数，对所有的评论进行分析，输出dataframe格式，保存到csv中。

4.3 设计分析函数

使用 cntext2.x 中的大模型文本分析函数 analysis_by_llm(text, prompt, base_url, api_key, model_name, output_format, max_retries, return_df)

text: 待分析的文本
prompt 提示Prompt, 默认 prompt=“根据评论内容，返回文本的情感类别(pos、neg)”, 可判断文本pos或neg
base_url: 大模型API接口，默认base_url=‘’，默认使用的本地Ollama搭建服务的API接口；
api_key: 大模型API对应的KEY，默认api_key=‘’ 表示使用的本地Ollama搭建服务
model_name: 模型名；默认使用 model_name=“qwen2.5:3b”
output_format: 设置分析结果的输出格式; 默认output_format = {‘label’: str, ‘score’: float}, 输出结果为字典，含字段类别字段label和数值字段score
max_retries: 最大失败次数，默认max_retries=3
return_df: 返回结果是否为dataframe，默认False

以调用云服务商大模型为例，设计_llm_analysis_

import cntext as ct  
import pandas as pd  
  
#分析函数  
def llm_analysis(text):  
    result = ct.analysis_by_llm(text=text,   
                                prompt= '从口味taste、速度speed、服务service三个维度， 对外卖评论内容进行文本分析， 分别返回不同维度的分值(分值范围-1.0 ~ 1.0)',  
                                base_url='https://dashscope.aliyuncs.com/compatible-mode/v1',   
                                api_key='你的API-KEY',   
                                model_name='qwen-max',   
                                output_format={'taste': float, 'speed': float, 'service': float}  
                               )  
    return pd.Series(result)  
      
  
#批量运算  
df2 = df['comment'].apply(llm_analysis)  
res_df = pd.concat([df, df2], axis=1)  
#保存分析结果  
res_df.to_csv('result.csv', index=False)  
res_df

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述