将自己的数据集格式(xml)转化成通义千问的微调格式(json)

import json
import os
import xml.etree.ElementTree as ET

# 初始化JSON数据结构

all_data=[]


# 指定XML文件所在的目录
xml_directory = '/Data/dfc/chengdeyancao'
i=0
# 遍历目录下的所有XML文件
for filename in os.listdir(xml_directory):

    if filename.endswith('.xml'):
        # 构建完整的文件路径
        file_path = os.path.join(xml_directory, filename)
        i=i+1
        # 解析XML文件
        tree = ET.parse(file_path)
        root = tree.getroot()
        file_name = root.find('filename').text
        json_data = {
            "id": f"identity_{i}",
            "conversations": []
        }
        for obj_elem in root.findall('object'):
            # 提取必要的数据
            object_name = obj_elem.find('name').text
            bbox = obj_elem.find('bndbox')
            if bbox is not None:  # 确保bndbox元素存在
                xmin = int(bbox.find('xmin').text)
                ymin = int(bbox.find('ymin').text)
                xmax = int(bbox.find('xmax').text)
                ymax = int(bbox.find('ymax').text)
            else:
                # 处理bndbox不存在的情况
                print(f"Warning: No bounding box found in {filename}")
                continue

            # 创建单个conversation对象并添加到JSON数组中
            conversation1 = {
                "from": "user",
                "value": f"Picture 1: <img>{file_name}</img>"
            }
            json_data['conversations'].append(conversation1)

            conversation = {
                "from": "assistant",
                "value": f"<ref>{object_name}</ref><box>({xmin},{ymin}),({xmax},{ymax})</box>。"
            }
            json_data['conversations'].append(conversation)

        all_data.append(json_data)


# 将JSON对象转换为字符串并保存到文件中
with open('output.json', 'w', encoding='utf-8') as f:
        json.dump(all_data, f, ensure_ascii=False, indent=2)

print("转换完成,所有XML文件的数据已整合到output.json文件中。")

根据自己的xml文件进行相应修改里头的属性

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值