将图像转换成lmdb格式

最新推荐文章于 2021-03-01 21:30:20 发布
最新推荐文章于 2021-03-01 21:30:20 发布
阅读量7k 收藏 3
点赞数
分类专栏： caffe 文章标签： 深度学习 caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_30071459/article/details/50501689
版权
本文介绍如何将图像数据转化为lmdb格式，适用于深度学习模型训练。首先新建myself文件夹，拷贝数据及脚本；接着将train.txt和val.txt拷入，并修改create_lmdb.sh脚本中的路径设置，包括lmdb输出路径和txt文件路径；最后执行脚本生成lmdb文件。
摘要由CSDN通过智能技术生成

主要是使用ImageNet里写好的脚本create_imagenet.sh

1.新建文件夹myself

为了不和其他文件弄混，在imagenet下新建文件夹，命名为myself(其他也行)，然后将create_imagenet.sh复制到myself下并重命名为create_lmdb.sh（为了区分）。

2.拷贝数据到myself

将数据集的train.txt和val.txt(或者是test.txt)拷贝到myself下，即：

examples/imagenet/myself/train.txt

examples/imagenet/myself/val.txt

如果是test.txt，就是 
examples/imagenet/myself/test.txt
然后，再将图像数据拷贝过来，比如：

即这些文件夹放在myself下，主要是和train.txt和val.txt中的路径对应，如train.txt内容为&#x

最低0.47元/天 解锁文章
小咸鱼_
关注
专栏目录
将自己数据集转化为lmdb格式
Cheese_pop的博客
03-10 2920
在caffe-master_github/examples/imagenet/路径下有convert_imagenet.sh文件，使用时有以下注意事项（注意点写在了代码注释里）:#!/usr/bin/env sh # Create the imagenet lmdb inputs # N.B. set the path to the imagenet train + val data dirsEXA
将图片转化为lmdb格式
最新发布
rouyiou的博客
06-11 119
【代码】将图片转化为lmdb格式。
Caffe学习系列(11)：图像数据转换成db（leveldb/lmdb)文件
weixin_34400525的博客
12-28 307
在深度学习的实际应用中，我们经常用到的原始数据是图片文件，如jpg,jpeg,png,tif等格式的，而且有可能图片的大小还不一致。而在caffe中经常使用的数据类型是lmdb或leveldb，因此就产生了这样的一个问题：如何从原始图片文件转换成caffe中能够运行的db（leveldb/lmdb)文件？ 在caffe中，作者为我们提供了这样一个文件：convert_imageset.cpp，存...
CAFFE之将图片转化为lmdb格式脚本【直接运行版】（内含生成train.txt和test.txt)
jiajinrang93的博客
05-24 2810
非常实用的一个将图片转换为lmdb格式数据的脚本，内含生成train.txt和test.txt文件的部分，可以直接对图片进行转换，不需要额外的操作，对使用caffe的人来说非常实用和快捷。
图像数据转换成lmdb文件
Json111的博客
03-02 757
在根目录下的tools文件夹下，提供了文件：convert_imageset。文件的左右是用于将图片文件转换成caffe框架中能直接使用的db文件。 文件使用格式： convert_imageset [FLAGS] ROOTFOLDER/ LISTFILE DB_NAME 需要带4个参数： FLAGS：图片参数组 ROOTFOLDER/：图片存放的绝对路径，从根目录开始 LISTFI...
Caffe中图像写入LMDB（以及多标签）和读取LMDB数据
热门推荐
深藏功与名
11-01 1万+
一个大牛写的教程：《A Practical Introduction to Deep Learning with Caffe and Python》，写的很清晰。 将图像写入LMDB import os import glob import random import numpy as np import cv2 import caffe from caffe.proto im
MNIST数据库已经转换为lmdb格式了
04-27
标题提到的"MNIST数据库已经转换为lmdb格式了"，这意味着原始的MNIST数据集已经被转化为LevelDB（Level Map Database）的键值对格式，通常用于数据馈送到深度学习框架，例如Caffe。LMDB是一种轻量级、高性能、嵌入式...
LMDB数据格式的生成
07-04
在将VOC数据转换为LMDB格式的过程中，主要包括以下几个步骤： 1. **创建转换脚本**：`create_imagenet.sh` 是一个Shell脚本，用于自动化整个转换过程。它通常会调用其他Python脚本来执行实际的转换工作，如读取VOC...
python读取lmdb文件_python将图片转成lmdb格式
weixin_39747807的博客
12-20 432
about本文参考了在开始前...先说说几处坑：虽然安装了caffe，但是import lmdb出现error。StackOverflow上的同学们讨论说，要装一个lmdb2 于是开始装lmdbsudo pip install lmdb但是，在python2中直接导入，还是出错。原来上面的lmdb被装在了python3的库里了。知乎上的同学讨论说：如果是装python3的库就用pip3 insta...
python读取LMDB中图像的方法
09-20
主要为大家详细介绍了python读取LMDB中图像的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
lmdb格式的minist数据集
01-09
将MNIST数据集转换为LMDB格式的主要原因在于其性能优势。在Caffe等深度学习框架中，数据预处理和加载速度对于训练速度至关重要。LMDB通过内存映射技术，允许直接读取硬盘上的数据到内存，从而实现了高速的数据访问。...
caffe中怎么把自己的图片转化成lmdb格式
jingtingxu369的博客
10-31 1219
我在caffe/my中，原来的文件夹是train、test、lable_name.txt，其余的都是后面生成的 -------------------------------------------------------- 目录结构：正类在一个文件夹，负类在一个文件夹 train文件夹，文件夹中有loufang文件夹和nanfen文件夹，其中loufang文件夹中全是loufang的照
caffe：数据集转换为lmdb
qy724728631的博客
01-04 974
Caffe生成的数据分为2种格式：Lmdb和Leveldb。 它们都是键/值对（Key/Value Pair）嵌入式数据库管理系统编程库。 虽然lmdb的内存消耗是leveldb的1.1倍，但是lmdb的速度比leveldb快10%至15%，更重要的是lmdb允许多种训练模型同时读取同一组数据集。因此，lmdb取代了leveldb成为Caffe默认的数据集生成格式。 一、以mnist数据集为例：...
Caffe入门学习（7）将自己的图像数据转成lmdb格式
阿丹的彩蛋
12-22 1649
将常用的图片（jpg、png）转换为caffe使用的lmdb格式
caffe:图像数据 lmdb的写入
Searching_Bird的专栏
06-03 575
def image_dataset_to_lmdb(image_folder_path,lmdb_path,posAttributeList): db = lmdb.open(lmdb_path, map_size=2147483648)with db.begin(write=True) as db_txn:for parent, dirnames, filenames in os
Caffe下LMDB与H5数据读取代码实现分析
m_buddy的博客
12-06 727
1. 前言 在之前的文章中讲到了Caffe中是如何把图像数据转换成为LMDB与H5格式文件的。那么Caffe中是怎么实现由这些文件读取到网络中进行训练的呢？其实Caffe中是有专门的数据读取层的，用来读取不同的数据类型。下面是Caffe中主要数据读取类的关系图： 平时用得比较多的是DataLayer与ImageDataLayer（读取图像效率低也不怎么使用）。这里就主要从DataLayer进行分...
caffe如何将图片数据写成lmdb格式
xiaoxiao_huitailang的博客
05-10 3801
本人也才开始使用caffe 配好环境跑了mnist和另外一个例子，当时就蒙了   如果是图片的例子应该怎么导入，后来看了两天终于整明白了 给大家讲述一下具体过程很简单。我用minst数据库做个实验。 首先我们要得到两个txt一个是train.txt另一个是test.txt 内容如下： 前面代表是图像所在目录下的名字  第二个数字代表标签  test.txt train.tx
数据集转换成LMDB格式
Heisenberg's blog
03-01 2175
文章来源https://www.cnblogs.com/dengshunge/p/10841108.html略加修改和补充。 介绍两种LMDB格式数据集的生成,一种是自己的数据集,一种是下载widerface开源人脸数据集。 如果你用的是caffeSSD或者caffe，最好直接阅读提供的README文件，其中包含了LMDB文件的创建。 将自己的数据集转换成LMDB格式 制作LMDB格式数据,基于create_imagenet.sh脚本文件 想要制作LMDB数据源,caffe提供了一个脚本程序，步.
请问怎么将LaSOT数据集转换为LMDB格式
06-06
将LaSOT数据集转换为LMDB格式的步骤如下： 1. 首先，需要下载并解压缩LaSOT数据集。您可以从以下链接下载数据集：http://vision.cs.stonybrook.edu/~lasot/download.php 2. 然后，您需要安装LMDB库。您可以从以下链接下载并安装LMDB库：https://github.com/LMDB/lmdb 3. 接下来，您需要使用脚本将LaSOT数据集转换为LMDB格式。以下是一个示例脚本： ``` import lmdb import os import cv2 import numpy as np def prepare_lmdb_data(data_dir, lmdb_file): env = lmdb.Environment(lmdb_file, map_size=int(1e12)) txn = env.begin(write=True) for root, dirs, files in os.walk(data_dir): for file in files: if file.endswith(".jpg"): video_name = os.path.basename(root) frame_name = os.path.splitext(file)[0] img_path = os.path.join(root, file) img = cv2.imread(img_path) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 将图像转换为LMDB格式 datum = caffe.proto.caffe_pb2.Datum() datum.channels = 3 datum.height = img.shape[0] datum.width = img.shape[1] datum.data = img.tobytes() datum.label = -1 key = (video_name + "/" + frame_name).encode("ascii") txn.put(key, datum.SerializeToString()) txn.commit() env.close() if __name__ == "__main__": data_dir = "/path/to/LaSOT/dataset" lmdb_file = "/path/to/LaSOT/lmdb" prepare_lmdb_data(data_dir, lmdb_file) ``` 4. 运行脚本，将LaSOT数据集转换为LMDB格式。请注意，此过程需要一些时间和计算资源，具体取决于数据集的大小和您的计算机性能。 5. 转换完成后，您可以使用LMDB库读取和处理数据集。以下是一个示例代码片段： ``` import lmdb import caffe env = lmdb.open('/path/to/LaSOT/lmdb', readonly=True) with env.begin() as txn: cursor = txn.cursor() for key, value in cursor: datum = caffe.proto.caffe_pb2.Datum() datum.ParseFromString(value) img = np.fromstring(datum.data, dtype=np.uint8).reshape(datum.channels, datum.height, datum.width) img = img.transpose((1, 2, 0)) # 转换为RGB格式 label = datum.label # 处理图像和标签 env.close() ``` 希望这可以帮助您将LaSOT数据集转换为LMDB格式。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值