【matlab】txt2xml +【python】delete part of xml

最新推荐文章于 2024-02-29 21:45:28 发布
最新推荐文章于 2024-02-29 21:45:28 发布
阅读量707 收藏 1
点赞数 2
分类专栏： Data Processing / Tools 文章标签： PASCAL VOC COCO 数据集转换
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/81110944
版权

文章目录


声明：代码来源于KR，材料整理来源于KR+SWX，感谢！

由于目前多数网络要求输入的数据为Pascal Voc（xml格式）或者COCO（json格式），因此前期的数据集处理很重要。下面是我整理的将自己的数据转化为 Xml 格式的步骤和代码（Matlab）。

1 Pascal Voc

PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，从2005年到2012年每年都会举行一场图像识别challenge。下载地址
以VOC2008为例，先看一下VOCdevkit的文件夹结构：

这里写图片描述

我们按照这样的树形结构建好文件夹，把VOC2007换成自己数据集的名字（通常直接将VOC2007里面的数据换成自己的），local下面也建一个自己数据集的名字的文件夹。SegmentationObject和SegmentationClass就不需要了。
我们检测任务所用的数据集只需要JPEGImages、Annotations、ImageSets文件夹。

2 分析数据的组织形式

由于数据集保密，就不放图了
图片和标注的文档（txt）一一对应，标注文档第一行为该图片的总细胞数（标注出的），其余为标注信息（class xmin ymin width height）。
这里写图片描述

3 数据集整理

3.1 JPEGImages and TxtLabels

从所有的细胞集中选出带有标记文本的图片并将图片和txt文本按顺序重新命名，将重新命名后的图片放到JPEGImages文件夹中,重命名后的txt文本放到TxtLabels文件夹中待进一步处理，处理后的数据如下图。具体matlab代码见附件renameCells.m（原文件名中不能有空格！要对自己的数据名进行处理！）
将数据集的图片和标签放在 data目录下
renameCells.m

clc; 
clear; 

source_path='E:\data'; 
dst_path='E:\targetdata'; 

mkdir('E:\targetdata\TxtLabels');
mkdir('E:\targetdata\JPEGImages');

name_long=5; %图片名字的长度，如000123.jpg为6,最多9位,可修改 
num_begin=1; %图像命名开始的数字如000123.jpg开始的话就是123 
 
subdir = dir(source_path);  %比目标文件数多两个
n=1; 
 
for i = 1:length(subdir) 
  if ~strcmp(subdir(i).name ,'.') && ~strcmp(subdir(i).name,'..') 
     subsubdir = dir(fullfile(source_path,subdir(i).name,'*.txt')); 
    for j=1:length(subsubdir) 
         if ~strcmp(subsubdir(j).name ,'.') && ~strcmp(subsubdir(j).name,'..') 
           % img=imread([source_path,subdir(i).name,'/',subsubdir(j).name]); 
            %imshow(img); 
            strname=num2str(num_begin,'%05d'); 
            oldname=subsubdir(j).name(1:end-4); 
            oldnameTxt = strcat(source_path,'/',subdir(i).name,'/',oldname,'.txt'); 
            oldnameImagej = strcat(source_path,'/',subdir(i).name,'/',oldname,'.jpg'); 
            oldnameImageJ= strcat(source_path,'/',subdir(i).name,'/',oldname,'.JPG'); 
            newnameTxt=strcat(dst_path,'/TxtLabels/','h',strname,'.txt'); 
            newnameImage=strcat(dst_path,'/JPEGImages/','h',strname,'.jpg'); 
           %system(['rename ' [source_path,subdir(i).name,'/',oldname,'.txt'] ' ' [ newname,'.txt']]); 
           %eval(['!rename',oldname newname]); 
           %objFileImage = fullfile(source_path,subdir(i).name,oldname(2:end)); 
           if exist(oldnameImagej ,'file')==2 
               movefile( oldnameTxt ,newnameTxt); 
               movefile( oldnameImagej ,newnameImage); 
           elseif exist(oldnameImageJ ,'file')==2 
               movefile( oldnameTxt ,newnameTxt); 
               movefile( oldnameImageJ ,newnameImage); 
           end 
 
            
            num_begin=num_begin+1; 
            fprintf('当前处理文件夹%s',subdir(i).name); 
              fprintf('已经处理%d张图片\n',n); 
            n=n+1; 
           %pause(0.1);%可以将暂停去掉 
         end 
    end 
  end 
end

运行结束后
data目录下数据集文件夹中会余下出错的数据集

或者，用软件哈哈哈
【数据处理】文件批量改名
这里写图片描述

将图片和标注文本一一对应重命名，且过滤掉文件夹中不符合条件的文档和图片。例如有标注却没有图片或者有图片却没有标注

3.2 Annotations

从TxtLabels文件夹中读取与图片同名的txt标注信息，并将数字类别转换为文字类别（可选），然后写为xml文档。代码见changeClsLable.m、 writeanno.m、 writexml.m

效果

3
4	3188	2679	519	329	
2	2888	2375	103	142	
2	2661	2209	257	257

转化成
这里写图片描述

Note：xml 的 bounding box表示为 xmin，ymin，xmax，ymax

changeClsLable.m

function  clsText = changeClsLabel(clsNum) 
  switch clsNum 
      case 0 
          clsText='CELL_NORMAL'; 
      case 1
          clsText = 'CELL_ASCUS';
      case 2
          clsText = 'CELL_ASCH';
      case 3
          clsText = 'CELL_LSIL';
      case 4
          clsText = 'CELL_HSIL';
      case 5
          clsText = 'CELL_SCC';
      case 6
          clsText = 'CELL_AGC';
      case 7
          clsText = 'CELL_AGCNOS';
      case 8
          clsText = 'CELL_AGCFN';
      case 9
          clsText = ' CELL_AIS';
      case 10
          clsText = 'CELL_VAGINALIS';
      case 11
          clsText = 'CELL_MONILIA';
      case 12
          clsText = 'CELL_DYSBACTERIOSIS';          
      case 13 
          clsText='CELL_HERPES'; 
      case 14 
          clsText='CELL_ACTINOMYCES'; 
      case 15 
          clsText='CELL_OTHERMALIGNANCIES'; 
      otherwise 
          clcText='background'; 
end

writexml.m

function [ xml ] = writexml( fid,rec,depth )
%UNTITLED6 此处显示有关此函数的摘要
%   此处显示详细说明
fn=fieldnames(rec); 
for i=1:length(fn) 
    f=rec.(fn{i}); 
    if ~isempty(f) 
        if isstruct(f) 
            for j=1:length(f)             
                fprintf(fid,'%s',repmat(char(9),1,depth)); 
                a=repmat(char(9),1,depth); 
                fprintf(fid,'<%s>\n',fn{i}); 
                writexml(fid,rec.(fn{i})(j),depth+1); 
                fprintf(fid,'%s',repmat(char(9),1,depth)); 
                fprintf(fid,'</%s>\n',fn{i}); 
            end 
        else 
            if ~iscell(f) 
                f={f}; 
            end        
            for j=1:length(f) 
                fprintf(fid,'%s',repmat(char(9),1,depth)); 
                fprintf(fid,'<%s>',fn{i}); 
                if ischar(f{j}) 
                    fprintf(fid,'%s',f{j}); 
                elseif isnumeric(f{j})&&numel(f{j})==1 
                    fprintf(fid,'%s',num2str(f{j})); 
                else 
                    error('unsupported type'); 
                end 
                fprintf(fid,'</%s>\n',fn{i}); 
            end 
        end 
    end 
 
end

writeanno.m

clear
clc
path_image='E:\targetdata\JPEGImages\'; 
path_label='E:\targetdata\TxtLabels\';%txt文件存放路径
mkdir('E:\targetdata\Annotations');
files_all=dir(path_image); 
 
for i = 3:length(files_all) 
    fidin = fopen(strcat(path_label, files_all(i).name(1:end-4),'.txt')); 
     
    clear rec  class classT x y width height; 
     
    path = ['E:\targetdata\Annotations\' files_all(i).name(1:end-4) '.xml']; 
    fidout=fopen(path,'w'); 
    rec.annotation.folder = 'Cells';%数据集名 
 
    rec.annotation.filename = files_all(i).name(1:end-4);%图片名 
 
    rec.annotation.source.database = 'The Cells Database';%随便写 
    rec.annotation.source.annotation = 'The Cells  Database';%随便写 
    rec.annotation.source.image = 'CellImage';%随便写 
    rec.annotation.source.flickrid = '0';%随便写 
 
    rec.annotation.owner.flickrid = 'I do not know';%随便写 
    rec.annotation.owner.name = 'I do not know';%随便写 
 
    img = imread(['E:\targetdata\JPEGImages\' files_all(i).name]); 
    rec.annotation.size.width = int2str(size(img,2)); 
    rec.annotation.size.height = int2str(size(img,1)); 
    rec.annotation.size.depth = int2str(size(img,3)); 
 
    rec.annotation.segmented = '0';%不用于分割 
     
      cell_num=fgetl(fidin); 
      cell_num=strread(cell_num,'%d','delimiter',' '); 
     % disp(['The num of cell is ' num2str(cell_num(1)) ' in ' files_all(i) .name] );    
      disp(['The num of cell is ' num2str(cell_num) ' in ' files_all(i) .name] );    
       
  %object     
     j=1; 
     while feof(fidin)==0 
     tline=fgetl(fidin); 
     [class(j) ,x(j), y(j), width(j),height(j),non]=strread(tline,'%d %d %d %d %d%d','delimiter',' '); 
     
    classT{j}= changeClsLabel( class(j)); 
    rec.annotation.object(j).name = classT{j};%类别名 
     %rec.annotation.object(j).name = class(j);%类别名 
    rec.annotation.object(j).pose = 'Unspecified';%不指定姿态 
    rec.annotation.object(j).truncated = '0';%没有被删节 
    rec.annotation.object(j).difficult = '0';%不是难以识别的目标 
    rec.annotation.object(j).bndbox.xmin = x(j);%坐标x1 
     
    rec.annotation.object(j).bndbox.ymin = y(j);%坐标y1 
    rec.annotation.object(j).bndbox.xmax = x(j)+width(j);%坐标x2 
    rec.annotation.object(j).bndbox.ymax = y(j)+height(j);%坐标y2 
     
     j=j+1; 
     end 
    
     writexml(fidout,rec,0); 
      fclose(fidin); 
      fclose(fidout); 
end

3.3 ImageSets

ImageSets里只需要用到Main文件夹，而在Main中，主要用到4个文件：

  • train.txt 是用来训练的图片文件的文件名列表
  • trianval.txt是用来训练和验证的图片文件的文件名列表
  • val.txt是用来验证的图片文件的文件名列表
  • test.txt 是用来测试的图片文件的文件名列表

对数据进行随机分配成trainval.txt、train.txt、val.txt、test.txt四个文本。代码见writetxt.m

%    
%该代码根据已生成的xml，制作VOC2007数据集中的trainval.txt;train.txt;test.txt和val.txt    
%trainval占总数据集的50%，test占总数据集的50%；train占trainval的50%，val占trainval的50%；    
%上面所占百分比可根据自己的数据集修改，如果数据集比较少，test和val可少一些    
%注意修改下面四个值    
xmlfilepath='E:\targetdata\Annotations\';
mkdir('E:\targetdata\ImageSets\');
mkdir('E:\targetdata\ImageSets\Main');
txtsavepath='E:\targetdata\ImageSets\Main\';    
trainval_percent=0.8;%trainval占整个数据集的百分比，剩下部分就是test所占百分比    
train_percent=0.8;%train占trainval的百分比，剩下部分就是val所占百分比    
        
%   
xmlfile=dir(xmlfilepath);    
numOfxml=length(xmlfile)-2;%减去.和..  总的数据集大小    
        
trainval=sort(randperm(numOfxml,floor(numOfxml*trainval_percent)));    
test=sort(setdiff(1:numOfxml,trainval));    
        
trainvalsize=length(trainval);%trainval的大小    
train=sort(trainval(randperm(trainvalsize,floor(trainvalsize*train_percent))));    
val=sort(setdiff(trainval,train));    
         
ftrainval=fopen([txtsavepath 'trainval.txt'],'w');      
ftrain=fopen([txtsavepath 'train.txt'],'w');    
fval=fopen([txtsavepath 'val.txt'],'w'); 
ftest=fopen([txtsavepath 'test.txt'],'w');  
        
for i=1:numOfxml
    if ismember(i,trainval)
        fprintf(ftrainval,'%s\n',xmlfile(i+2).name(1:end-4));
            if ismember(i,train)
                fprintf(ftrain,'%s\n',xmlfile(i+2).name(1:end-4));
            else
                fprintf(fval,'%s\n',xmlfile(i+2).name(1:end-4));
            end    
    else
        fprintf(ftest,'%s\n',xmlfile(i+2).name(1:end-4));
    end    
end    
fclose(ftrainval);    
fclose(ftrain);    
fclose(fval);    
fclose(ftest);

4 删除部分XML

什么是XML？

  • XML 指可扩展标记语言（EXtensible Markup Language）
  • XML 是一种标记语言，很类似 HTML
  • XML 的设计宗旨是传输数据，而非显示数据
  • XML 标签没有被预定义。您需要自行定义标签。
  • XML 被设计为具有自我描述性。
  • XML 是 W3C 的推荐标准

原文件如下，我们想删除掉部分object
这里写图片描述

展开
这里写图片描述

计算面积的方法为（xmax-xmin）*（ymax-ymin）
由图可以计算出，三个目标的面积分别为，

47124
88290
59444

我们要保留面积大于60000的目标
话不多说，上代码

import xml.etree.ElementTree as ET
xml_name = '/root/userfolder/Experiment/TCT/t00004.xml'
annotat_tree = ET.parse(xml_name)
root = annotat_tree.getroot()

# 找到所有object
object_dect = root.findall('object')

#遍历object，筛选不符合条件的目标
for x in object_dect:
    xmin = x.find("./bndbox/xmin") #左上
    ymin = x.find("./bndbox/ymin") 
    xmax = x.find("./bndbox/xmax") #右下
    ymax = x.find("./bndbox/ymax")
    xmin = int(xmin.text) - 1 
    ymin = int(ymin.text) - 1
    xmax = int(xmax.text)
    ymax = int(ymax.text)
    xlen = xmax - xmin
    ylen = ymax - ymin
    # 如果目标的面积小于60000，删除
    #print(xlen*ylen)
    if xlen*ylen<=60000:
        root.remove(x)

##保存结果
annotat_tree.write('tt1.xml')

Output
这里写图片描述

OK，成功筛选了不符合条件的目标

上面用到了查找和删除操作，更多操作请看

Python XML操作

bryant_meng
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于matlab的xml操作
05-22
文档为基于matlab进行xml操作的一些介绍和指导，有兴趣的可以看看哦
matlab 转化xml 结构,Matlab下数据结构变量与XML互换工具箱
weixin_32019373的博客
03-23 219
The XML Toolbox converts MATLAB data structures of any level of nesting into an XML string. It also reads most types of XML strings/files and converts these into a Matlab structure.Six simple function...
MATLAB读取txt文本数据及可视化指南
最新发布
干吧滴！
02-29 1527
在MATLAB中，读取txt文本格式文件数据是一项基本的操作，特别是在数据分析和可视化方面。本文将介绍如何使用MATLAB读取txt文本格式文件中的数据，并通过示例生成可用的数据文件，并使用MATLAB绘制对应的图形。
matlab读写xml
weixin_38907330的博客
08-02 8761
    xml文档的组织形式类似于树的结构，具体阐述在前一篇文章中有阐述 https://blog.csdn.net/weixin_38907330/article/details/80763880               那么在matlab环境下对xml文件进行读写，也就是本着按着节点一级一级访问的形式进行的 1.读xml 首先读入文件：                      x...
matlab对xml文件操作,Matlab读写xml文件
weixin_29607511的博客
03-19 2368
xml文件以文档对象模型表示，简称DOM(Document Object Model)。在Matlab中，使用xmlread读取xml文件成DOM节点，对xml文件的操作转化成对DOM节点的操作，使用xmlwrite把DOM节点写入到xml文件中。Matlab写xml文件以个人信息为例，通常个人的信息包括姓名、性别、住址和电话等等，其中电话可能有多个，比如手机和座机，代码如下。% file nam...
matlab读取xml文档并储存为.mat文件详解
Eason_Y的博客
03-27 2277
使用xml传递数据到matlab中，matlab读取xml文档并储存为.mat文件详解
五种网络拓扑结构的生成（MATLAB+Python）
06-30
无线传感器网络实验 五种网络拓扑结构的生成：总线型，星型，网状，树型，环型 语言：MATLAB+Python
DEMATEL方法MATLAB+python.zip
10-26
文件包里有DEMATEL方法所需要的所有MATLAB源码和python源码。
Python+Matlab+Halcon语言的转换文件合集
05-26
文件主要包含python语言的标签类型转换脚本代码，如：json2txt，json2xml，xml2json等等，此外还有Matlab代码，如mat2jpg，jpg2png等等，Halcon的各种颜色空间转换，如：'argyb', 'cielab', 'cielchab', 'cielchuv',...
matlab+python优化算法.rar
07-08
matlab+python优化算法，包括蚁群算法、牛顿法、共轭梯度法、梯度下降法、蒙特卡洛法、粒子群算法、模拟退火算法，可以正常运行
xml.zip_matlab读取xml文件实例_xml文件读取
07-14
matlab读取复杂xml文件实例，来源于具体的项目开发
matlab快速处理xml文件
04-11
matlab快速处理xml文件，包括读取xml，修改xml，写入xml
将txt转成voc数据集标准xml（matlab的）
05-25
txt转成voc数据集标准xml（matlab的）
txt转xmlmatlab代码
05-24
做voc2007数据集xml的代码
Matlab读取.xml文件并写入struct
一只博客
05-06 1006
1.官方函数 xmlread读取 XML 文档并返回文档对象模型节点 但是这个函数得到的文档对象模型节点中的内容无法查看 于是官方给出了一个将XML文件读入结构体数组中的函数 parseXML.m function theStruct = parseXML(filename) % PARSEXML Convert XML file to a MATLAB structure. try tree = xmlread(filename); catch error('Failed to re
基于MATLAB的XML操作
delaoguai7289的博客
11-06 787
写在前面：本文介绍2种MATLAB XML操作的方法：1.MATLAB自带的xmlread,xmlwrite；2.xml_io_tools工具包。推荐大家使用xml_io_tools工具包。您如果急着用的话，可以直接看第二部分。 1. MATLAB自带的xmlread,xmlwrite 　　1.1 函数和方法简介 xmlreadRead XML document and r...
Matlab导入log(或txt)文件，提取数据或其他信息
小段的博客
10-09 1006
提取混合格式文本文件(.txt/.log)数据或信息
Matlab中处理XML文件
wang_306的专栏
05-08 9811
三个函数搞定一切 XML格式的问题现在很流行，它往往用作数据存储文件，或者是参数配置文件，我们需要做的有两件事情，从XML文件读取数据，以及把数据储存到XML文件中去。 Matlab使用JAVA虚拟机来处理XML文件，默认给出了三个用于处理XML的函数： l         xmlread(), 用于读取XML文件内容，读入后的变量是一个Java XML object。 l
txt转xml的matlab代码
04-29
下面是一个简单的 MATLAB 代码，可以将一个文本文件（例如 txt 文件）转换为 XML 文件： ```matlab % 读取 txt 文件 fid = fopen('input.txt', 'r'); txt = fscanf(fid, '%s'); fclose(fid); % 创建 XML 文件 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值