图片数据集生成标签文件列表，即.txt文件（lmdb文件格式）

最新推荐文章于 2024-07-23 00:03:14 发布
最新推荐文章于 2024-07-23 00:03:14 发布
阅读量1.3k 收藏 1
点赞数
文章标签： caffe 图片标签 txt标签
原文链接：https://blog.csdn.net/qxqsunshine/article/details/80154969
版权

在深度学习中的图片训练时，需要将图片生成标签文件列表，

本次我是对于多分类问题，一共８个类别，python代码实现如下：


  
  
  1. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #coding:utf-8
     
     
    
    
    
  2. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      import os
     
     
    
    
    
  3. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  4. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      def IsSubString(SubStrList,Str):
     
     
    
    
    
  5. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          flag=
      
      True
     
     
    
    
    
  6. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          
      
      for substr 
      
      in SubStrList:
     
     
    
    
    
  7. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              
      
      if 
      
      not(substr 
      
      in Str):
     
     
    
    
    
  8. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                  flag=
      
      False
     
     
    
    
    
  9. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          
     
     
    
    
    
  10. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          
      
      return flag
     
     
    
    
    
  11. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  12. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #扫面文件
     
     
    
    
    
  13. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      def GetFileList(FindPath,FlagStr=[]):
     
     
    
    
    
  14. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          FileList=[]
     
     
    
    
    
  15. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          FileNames=os.listdir(FindPath)
     
     
    
    
    
  16. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          
      
      if len(FileNames)>
      
      0:
     
     
    
    
    
  17. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              
      
      for fn 
      
      in FileNames:
     
     
    
    
    
  18. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                  
      
      if len(FlagStr)>
      
      0:
     
     
    
    
    
  19. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                      
      
      if IsSubString(FlagStr,fn):
     
     
    
    
    
  20. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                          fullfilename=os.path.join(FindPath,fn)
     
     
    
    
    
  21. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                          FileList.append(fullfilename)
     
     
    
    
    
  22. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                  
      
      else:
     
     
    
    
    
  23. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                      fullfilename=os.path.join(FindPath,fn)
     
     
    
    
    
  24. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
                      FileList.append(fullfilename)
     
     
    
    
    
  25. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          
     
     
    
    
    
  26. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          
      
      if len(FileList)>
      
      0:
     
     
    
    
    
  27. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              FileList.sort()
     
     
    
    
    
  28. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
              
     
     
    
    
    
  29. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          
      
      return FileList
     
     
    
    
    
  30. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  31. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  32. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  33. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      train_txt=open(
      
      'train.txt',
      
      'w')
     
     
    
    
    
  34. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #制作标签数据，多标签数据，编号从0开始
     
     
    
    
    
  35. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      imgfile=GetFileList(
      
      '/home/aa/qxq/project/fruits/ncnn-master/data/train/cabbage')
      
      #.py文件目录下
     
     
    
    
    
  36. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for img 
      
      in imgfile:
     
     
    
    
    
  37. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          str1=img+
      
      ' '+
      
      '0'+
      
      '\n'        
      
      #用空格代替转义字符 \t 
     
     
    
    
    
  38. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          train_txt.writelines(str1)
     
     
    
    
    
  39. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          
     
     
    
    
    
  40. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  41. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      imgfile=GetFileList(
      
      '/home/aa/qxq/project/fruits/ncnn-master/data/train/carrot')
     
     
    
    
    
  42. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for img 
      
      in imgfile:
     
     
    
    
    
  43. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          str2=img+
      
      ' '+
      
      '1'+
      
      '\n'
     
     
    
    
    
  44. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          train_txt.writelines(str2)
     
     
    
    
    
  45. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  46. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  47. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      imgfile=GetFileList(
      
      '/home/aa/qxq/project/fruits/ncnn-master/data/train/cauliflower')
     
     
    
    
    
  48. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for img 
      
      in imgfile:
     
     
    
    
    
  49. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          str3=img+
      
      ' '+
      
      '2'+
      
      '\n'
     
     
    
    
    
  50. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          train_txt.writelines(str3)
     
     
    
    
    
  51. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  52. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  53. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      imgfile=GetFileList(
      
      '/home/aa/qxq/project/fruits/ncnn-master/data/train/cucumber')
     
     
    
    
    
  54. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for img 
      
      in imgfile:
     
     
    
    
    
  55. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          str4=img+
      
      ' '+
      
      '3'+
      
      '\n'
     
     
    
    
    
  56. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          train_txt.writelines(str4)
     
     
    
    
    
  57. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  58. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  59. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      imgfile=GetFileList(
      
      '/home/aa/qxq/project/fruits/ncnn-master/data/train/eggplant')
     
     
    
    
    
  60. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for img 
      
      in imgfile:
     
     
    
    
    
  61. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          str5=img+
      
      ' '+
      
      '4'+
      
      '\n'
     
     
    
    
    
  62. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          train_txt.writelines(str5)
     
     
    
    
    
  63. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  64. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  65. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      imgfile=GetFileList(
      
      '/home/aa/qxq/project/fruits/ncnn-master/data/train/green_pepper')
     
     
    
    
    
  66. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for img 
      
      in imgfile:
     
     
    
    
    
  67. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          str6=img+
      
      ' '+
      
      '5'+
      
      '\n'
     
     
    
    
    
  68. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          train_txt.writelines(str6)
     
     
    
    
    
  69. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  70. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  71. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      imgfile=GetFileList(
      
      '/home/aa/qxq/project/fruits/ncnn-master/data/train/potato')
     
     
    
    
    
  72. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for img 
      
      in imgfile:
     
     
    
    
    
  73. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          str7=img+
      
      ' '+
      
      '6'+
      
      '\n'
     
     
    
    
    
  74. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          train_txt.writelines(str7)
     
     
    
    
    
  75. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  76. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  77. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      imgfile=GetFileList(
      
      '/home/aa/qxq/project/fruits/ncnn-master/data/train/pumpkin')
     
     
    
    
    
  78. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for img 
      
      in imgfile:
     
     
    
    
    
  79. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          str8=img+
      
      ' '+
      
      '7'+
      
      '\n'
     
     
    
    
    
  80. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          train_txt.writelines(str8)
     
     
    
    
    
  81. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  82. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  83. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      imgfile=GetFileList(
      
      '/home/aa/qxq/project/fruits/ncnn-master/data/train/tomato')
     
     
    
    
    
  84. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for img 
      
      in imgfile:
     
     
    
    
    
  85. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          str9=img+
      
      ' '+
      
      '8'+
      
      '\n'
     
     
    
    
    
  86. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          train_txt.writelines(str9)
     
     
    
    
    
  87. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  88. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #转换完成后，将.txt文档关闭
     
     
    
    
    
  89. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      train_txt.close()
     
     
    
    
    
  90. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  91. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #测试集文件列表
     
     
    
    
    
  92. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #test_txt=open('val.txt','w')
     
     
    
    
    
  93. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #制作标签数据，如果是男的，标签设置为0，如果是女的标签为1
     
     
    
    
    
  94. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #imgfile=GetFileList('val/test_cat')#将数据集放在与.py文件相同目录下
     
     
    
    
    
  95. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #for img in imgfile:
     
     
    
    
    
  96. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #    str3=img+' '+'1'+'\n'
     
     
    
    
    
  97. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #    test_txt.writelines(str3)
     
     
    
    
    
  98. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
          
     
     
    
    
    
  99. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  100. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #imgfile=GetFileList('val/test_dog')
     
     
    
    
    
  101. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #for img in imgfile:
     
     
    
    
    
  102. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #    str4=img+' '+'0'+'\n'
     
     
    
    
    
  103. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #    test_txt.writelines(str4)
     
     
    
    
    
  104. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      #test_txt.close()
     
     
    
    
    
  105. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  106. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      print(
      
      "成功生成文件列表")
     
     
    
    
    
  107. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  108. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  109.

然后就能生成了自己想要的.txt 文件，生成的结果如下：



qq_41581769
关注
如何写数据集标签txt文件
m0_54924205的博客
03-22 872
编写多模态数据集标签文件
根据文件夹中的图片数据集生成.txt文件标签
热门推荐
畅游计算机视觉的海洋
04-26 19万+
文章目录前言数据集格式Python实现注意事项 前言 深度学习中的与图片有关的任务，如图像识别，图像分类，目标检测，图像分割等，在准备图片数据集时，图片的序号和标签往往是由.txt文件获取的。本文将介绍如何给文件夹中的图片数据集上标签并保存的.txt文件中。 数据集格式 以二分类任务为例，我的数据集目录是: E:/c/images/001.bad_apple E:/c/images/002.good_apple 其中，001.bad_apple文件夹中包含若干张图片和一个Readme文件。图片命
常见的数据集格式
最新发布
Yoin.
07-23 1303
VOC数据集由五个部分构成：JPEGImages，Annotations，ImageSets，SegmentationClass以及SegmentationObject.COCO是一个大规模的目标检测、分割和标注数据集，其格式更加丰富和复杂，COCO数据集的主要标注文件是JSON格式。这3种类型共享这些基本类型：info、image、license，使用JSON文件存储。yolo数据集标注格式主要是 yolov5 项目需要用到，标签使用txt文本进行保存。object keypoints（目标上的关键点）
生成数据集列表txt<代码>
weixin_30595035的博客
04-06 373
以KITTI的双目视觉数据为例，python代码： import os, glob # info = os.getcwd() # Get current path info = '/media/wwt/9e35de07-e248-49c2-afcf-b9ce00605fbe/HXH/backup/dataset' # KITTI2012 info2012 = info + '...
深度学习，图片数据集生成标签文件列表，即.txt文件（lmdb文件格式）
qxqsunshine的博客
05-01 8938
在深度学习中的图片训练时，需要将图片生成标签文件列表，本次我是对于多分类问题，一共８个类别，python代码实现如下：#coding:utf-8 import os def IsSubString(SubStrList,Str):     flag=True     for substr in SubStrList:         if not(substr in Str):         ...
python读取数据集并生成txt文件
qq_40356092的博客
11-13 4642
前言 在目标检测领域，无论是公开数据集还是自建的数据集，数据集的存储方式通常是一个JPEGImages图片文件夹和一个Annotations的xml标注数据文件夹。 在进行数据处理时，首先要做的工作是将其读取并写入一个txt检索文本中，方便后续的操作。 一、文件路径 import os import xml.etree.ElementTree as ET #获取所有类别 classes = get_classes('../model_data/dataset/voc_dataset/voc_classes
caffe学习笔记（四）--制作自己的数据集train.txt和val.txt，生成LMDB文件
张文龙的博客
12-15 1万+
在深度学习的实际应用中，我们经常用到的原始数据是图片文件，如jpg,png,tif等格式的，而且有可能图片的大小还不一致。 我今天尝试制作一个自己的训练数据集
caffe：制作自己的数据集train.txt和val.txt，生成lmdb文件
简简单单
05-04 1932
参考：https://blog.csdn.net/biaopeng12345/article/details/78950990 参考：https://blog.csdn.net/liuweizj12/article/details/52149743 参考：https://blog.csdn.net/fly_egg/article/details/53670047 一、准备图片 在caffe...
SVT ocr 场景文本识别 lmdb格式数据集
03-13
本篇文章将详细介绍SVT OCR及其相关的lmdb格式数据集。 SVT OCR（Scene Text Recognition）主要应用于实际生活中的各种场景，如街头招牌、广告、书籍、菜单等。与传统的OCR相比，SVT OCR面临更大的挑战，因为场景...
python生成lmdb格式的文件实例
09-19
在本实例中，我们将探讨如何使用Python生成LMDB格式的文件，特别地，这是为了CRNN（Connectionist Temporal Classification）训练准备数据集。 首先，确保已经安装了`lmdb`和`opencv-python`这两个Python库。`lmdb`...
多标签lmdb数据制作脚本文件
12-12
LMDB（Lightning Memory-Mapped Database）是一种高效、轻量级的键值对存储系统，由...在理解和使用这个脚本时，要关注数据的预处理、LMDB的配置以及数据写入的细节，以确保最终生成的数据集能够满足后续训练的需求。
将一个txt中的数据根据标签进行分类输出到多个txt中
t_zht的博客
10-25 623
with open('weibo_test.txt', 'r', encoding='utf-8') as f: raw_data=f.readlines() for line in raw_data: label=line.split('\t')[0] content=line.split('\t')[1] # 1 ...
目标检测中将已有的数据集从.xml转换成.txt格式
qq_41931453的博客
07-02 1485
目标检测中将已有的数据集从.xml转换成.txt格式 1.准备工作 IDE:vscode或者pycharm 1.1新建项目 我新建了data目录并新建Annotations, images, ImageSets, JPEGImages, labels 五个文件夹。 其中images和JPEGImages存放的是原始的图片数据集，Annotations存放的是标记后生成的xml文件，labels存放的是保存标记内容的txt文件，ImageSets存放的是训练数据集和测试数据集的分类情况。 其中Annotat
python将文件夹中图像生成file list
xaioxinfei的博客
11-04 586
用python快速实现图像文件夹中图像路径存储成.flist形式
将图片文件转为list文件：convert_images_to_list.sh
popoffpopoff的博客
08-05 1455
#!/bin/bash # convert the images folder to the test.list and train.list file according to # the distribution, command will clear the train.list and test.list files first #将图片文件夹转为test.list和train.l...
数据集写txt
weixin_46466484的博客
05-23 231
PA100k数据集写txt import json import os # 文件 def txt2list(filename): f = open(filename) lines = f.readlines() file_name = [] for index, line in enumerate(lines): if index == 0: continue file_name.append(line.split("
Caffe学习笔记(二)：使用Python生成caffe所需的lmdb文件和txt列表清单文件
Jack-Cui
03-29 1万+
转载请注明作者和出处： http://blog.csdn.net/c406495762 Python版本：Python2.7 运行平台：Ubuntu14.04 最后修改时间：2017.4.20
数据集划分、label生成及按label将图片分类到不同文件夹
地中海の养成记
02-22 3万+
这里写目录标题1.数据集介绍二级目录三级目录 1.数据集介绍     深度学习所用数据集一般分为训练集、验证集、测试集。 训练集：用于训练的样本集合,主要用来训练神经网络中的参数。 验证集：用于验证模型性能的样本集合.不同神经网络在训练集上训练结束后,通过验证集来比较判断各个模型的性能.这里的不同模型主要是指对应不同超参数的神经网络,也可以指完全不同结构的神经网络。 测试集：对于训练完成的神经网络,测试集用于客观的评价神经网络的性能。 二级目录 三级目录 ..
处理数据集——将label及路径保存在txt文件中
hilaryooo的博客
08-13 124
print(‘待遍历的目录为：’, dir_path)# print(“子目录列表：”, dirs)# print(“文件列表：”, files)# print(“当前目录：”, root)print(‘遍历结果为：’)
使用Keil/MDK生成.bin文件的简易步骤
然而，有些情况下可能需要生成.bin格式文件，例如与特定硬件设备通信或者直接烧录到闪存。bin文件通常用于存储二进制可执行代码，没有地址和行号等调试信息。 为了生成.bin文件，Keil/MDK中内置了一个名为fromelf....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值