caffe下为图像加标签,转换为可执行文件.lmdb格式

caffe对于训练数据格式,支持:lmdb、h5py……,其中lmdb数据格式常用于单标签数据,像分类等,经常使用lmdb的数据格式。对于回归等问题,或者多标签数据,一般使用h5py数据的格式。当然好像还有其它格式的数据可用,本文就主要针对lmdb数据格式的制作方法,进行简单讲解。

以一个简单的例子来介绍一下如何生成自己的图像集。主要分为两步:

(1)生成标签文件列表,即生成 .txt 文件
(2)将 txt 文件列表中的图像与train图像库、val图像库的图像相连接,生成lmdb格式文件

lmdb数据

lmdb用于单标签数据。为了简单起见,我后面通过一个性别分类作为例子,进行相关数据制作讲解。

1、数据准备

首先我们要准备好训练数据,然后新建一个名为train的文件夹和一个val的文件夹:

train文件存放训练数据,val文件存放验证数据。然后我们在train文件下面,把训练数据猫、狗图片各放在一个文件夹下面:



同样的我们在val文件下面也创建文件夹:



两个文件也是分别存我们用于验证的图片数据猫与狗图像文件。我们在test_cat下面存放了都是猫的图片,然后在test_dog下面存放的都是验证数据的狗图片。

将train 与 val 文件夹放到一个文件夹内,本文中放到了Data_Test文件夹内。




2、标签文件.txt文件制作.

接着我们需要制作一个train.txt、val.txt文件,这两个文件分别包含了我们上面的训练数据的图片路径,以及其对应的标签,如下所示。







我们把猫图片标号为1,狗图片标记为0。标签数据文件txt的生成可以通过如下代码,通过扫描路径猫、狗下面的图片,得到标签文件train.txt和val.txt:


需要注意的是路径与标签之间是一个空格标签最好从0开始。


<pre class="python" name="cod
  • 3
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
将LaSOT数据集转换LMDB格式的步骤如下: 1. 首先,需要下载并解压缩LaSOT数据集。您可以从以下链接下载数据集:http://vision.cs.stonybrook.edu/~lasot/download.php 2. 然后,您需要安装LMDB库。您可以从以下链接下载并安装LMDB库:https://github.com/LMDB/lmdb 3. 接下来,您需要使用脚本将LaSOT数据集转换LMDB格式。以下是一个示例脚本: ``` import lmdb import os import cv2 import numpy as np def prepare_lmdb_data(data_dir, lmdb_file): env = lmdb.Environment(lmdb_file, map_size=int(1e12)) txn = env.begin(write=True) for root, dirs, files in os.walk(data_dir): for file in files: if file.endswith(".jpg"): video_name = os.path.basename(root) frame_name = os.path.splitext(file)[0] img_path = os.path.join(root, file) img = cv2.imread(img_path) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 将图像转换LMDB格式 datum = caffe.proto.caffe_pb2.Datum() datum.channels = 3 datum.height = img.shape[0] datum.width = img.shape[1] datum.data = img.tobytes() datum.label = -1 key = (video_name + "/" + frame_name).encode("ascii") txn.put(key, datum.SerializeToString()) txn.commit() env.close() if __name__ == "__main__": data_dir = "/path/to/LaSOT/dataset" lmdb_file = "/path/to/LaSOT/lmdb" prepare_lmdb_data(data_dir, lmdb_file) ``` 4. 运行脚本,将LaSOT数据集转换LMDB格式。请注意,此过程需要一些时间和计算资源,具体取决于数据集的大小和您的计算机性能。 5. 转换完成后,您可以使用LMDB库读取和处理数据集。以下是一个示例代码片段: ``` import lmdb import caffe env = lmdb.open('/path/to/LaSOT/lmdb', readonly=True) with env.begin() as txn: cursor = txn.cursor() for key, value in cursor: datum = caffe.proto.caffe_pb2.Datum() datum.ParseFromString(value) img = np.fromstring(datum.data, dtype=np.uint8).reshape(datum.channels, datum.height, datum.width) img = img.transpose((1, 2, 0)) # 转换为RGB格式 label = datum.label # 处理图像标签 env.close() ``` 希望这可以帮助您将LaSOT数据集转换LMDB格式
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值