【AIGC】通义千问生成问答数据集

好久没有更新跟实际应用相关的内容了（主要是因为公司知识产权问题未能立即公开，目前只能挑选一些脱敏内容与各位分享），如标题所示本期将跟大家讲一下如何通过通义千问生成问答数据集的。

在之前使用 Autokeras 的 RNN 训练时提到，数据是人工智能训练的生命线。数据质量和数据体量决定了人工智能模型的好与坏，因此如何大批量获取高质量数据是一件非常头痛的事情。

虽然可以通过一些数据平台获取训练数据，但对于一些小众领域数据量依然不够。面对这种情况我能想到的就只有“用魔法打败魔法”一条路了。思路如下：

如上图所示，第 1 步“找标准化数据”是比较简单的。难就难在第 2 步，除了要对第 1 步产生的数据进行 ETL 处理外，还要思考如何建立相关的数据图谱。这里将会涉及到一些专业领域的内容，由于中药材它是一个非标品，因此不是简单地用字符特征进行提取关联就可以的。

就举一个最简单的例子，同一个药材品种，道地药材和非道地药材在药效、用法、用量上都存在差异，因此需要专家的介入提供专业意见。

然而以上这些都不是今天的重点，就像前面 Autokeras 训练时所说的，我们的目标是要做一个人工智能问答小助手，因此需要大量的问答数据作为训练支撑，现在我们只有标准化的数据，接下来需要通过大模型对标准化数据进行二次构建，生成“问答”数据，也就是上面的第 3 步内容。

但是，目前几乎所有的大模型都需要“买 token”来使用，没钱怎么办（叹气）？就在一筹莫展的时候发现阿里家的通义千问居然有限时免费！！

PS：现在通义千问也要收费的了，这个图是之前它还免费的时候截的。如果要免费使用，建议还是本地部署一个 Qwen 1.5 72B 开源版本来用吧（至于如何在本地应用 Qwen1.5 开源模型这个放在之后的一篇文章中分享）

（回归正题）赶紧申请 key，写个 python 马上做个信息转换，如下图：

import requests
import time
import json

import os
project_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
import sys
sys.path.append(project_dir)
import mysql_util as mu

# 设置递归深度
sys.setrecursionlimit(1000000)

# 每个批次生成 20 条记录
gen_batch_size = 20

# 循环 40 次
loop_batch = 40

# 停顿 5 秒
wait_sec = 5

# 通义千问配置信息
qwen_url = 'https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation'
qwen_id = 'sk-xxxxxxxxxxxxxxxxxxxx'
qwen_assist = '这里要以英文方式提供前置提示'
qwen_type = 'qwen-max'

"""
通过 MySQL 查询标准数据集并通过循环遍历生成样例问题向 Qwen 进行提问，并将结果保存到数据库
"""


def query_integration_info():
    # 查询获取数据图谱数据集
    result_set = query_standard_dataset()
    # 可以根据自己需要的数据总量定义需要执行的循环次数
    for i in range(1, loop_batch):
        # 遍历数据集（这里只是例子，为了方便理解只提取了部分字段）
        for chinese_name, meridians_chinese, class_chinese in result_set:
            # 记录开始时间和执行批次
            print("Now the "+str(i)