用 NumPy 创造深度学习用的数据集

最新推荐文章于 2024-03-12 19:42:44 发布
最新推荐文章于 2024-03-12 19:42:44 发布
阅读量196 收藏
点赞数
文章标签： Numpy Tensorflow 深度学习 数据可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tlqtangok/article/details/95769246
版权

用 NumPy 创造深度学习用的数据集

作者/分享人：林奇思妙想

林奇思妙想

 

前新思科技（Synopsys) 软件工程师, 前开立图像算法工程师; 常常在开源世界里行走。 爱好广泛，天性喜欢折腾; 目前正在某医疗大数据公司做 GPU 高性能优化项目.

网上有很多的深度学习训练集， 他们很优秀，但是也具有如下几种缺点：

  1. 数据集一般很巨大， 下载带宽是限制
  2. 数据并不是很形象，很难去窥探为什么使用这个数据
  3. 数据质量不是那么可控
  4. 用来训练非常耗时，耗资源，比方只有 GPU 机器才能跑等等

基于以上的事实，我在平时的工作中，就不得不写一些数据集生成代码。 写的过程中，我也觉得非常有启发， 下面我们分享这一过程的心得。

包括以下内容：

  1. 生成数据
  2. 如何加杂噪声，如何控制生成数据的质量
  3. 怎么可视化生成的数据集
  4. 如何
最低0.47元/天 解锁文章
tlqtangok
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习入门之如何制作npz、npy文件
weixin_43487442的博客
10-10 2万+
一、需求 论文《EyeTracking for everyone》中提出了iTracker神经网络，并构建了一个叫GazeCapture的数据库，将其部分数据集下载后，可以看到文件的层次结构如下图所示： 其中，整个数据集的后缀名是npz，内部文件的后缀名是npy。由于该数据集是面向Apple产品系列的，而我的目标是面向笔记本电脑的，需要根据要求制作自己的数据集，这就涉及到如何去制作npz和npy格式的文件。 二、npz文件和npy文件 首先需要了解，在深度学习的数据集格式中，常用的有csv、json、np
机器学习的训练数据(Training Dataset)、测试数据(Testing Dataset)和验证数据(Validation Dataset)
Erick Lv的笔记
06-30 1万+
三者的意义 - 训练数据：用来训练模型的数据 - 验证数据：用来检验模型准确率 - 测试数据：再一次确认验证数据集中的模型是好的模型。 一般步骤： 测试数据集和验证数据的数据一定不能用来训练，否则会出现过拟合的现象...
关于deeplabv3+ 使用自定义数据集训练出现问题2
u010358801的博客
01-04 756
关于deeplabv3+ 使用自定义数据集训练出现问题2 前言 见 ： 原创 关于deeplabv3+ 使用自定义数据集训练出现的问题1 1 新出现的问题 1.1 问题简述 ​ 首先由于我使用的数据处理是从dataloaders/datasets/pascal.py 复制过来的，所以很多代码都是从这里变化过来的。正因为如此，而我们的数据集瓷瓦裂痕的数据集，MASK 图片颜色就两种，背景是RGB：(0,0,0)，识别项是RGB(255,255,255) ​ 从vo.
Numpy批次训练
stark_cc的博客
10-26 96
numpy批次训练
水果数据集(Fruit-Dataset )+水果分类识别训练代码(支持googlenet, resnet, inception_v3, mobilenet_v2)
热门推荐
AI吃大瓜的博客
08-27 4万+
水果数据集，水果分类识别，水果识别，本项目将采用深度学习的方法，搭建一个水果分类识别的训练和测试系统，实现一个简单的水果图像分类识别系统。目前，基于ResNet18的水果分类识别，支持262种水果分类识别，在水果数据集Fruit-Dataset上，训练集的Accuracy在94%左右，测试集的Accuracy在82%左右，骨干网络，可支持googlenet, resnet[18,34,50], inception_v3，mobilenet_v2...
【多用途】Fruits-360：包含水果和蔬菜的图像数据集
最新发布
牧子川的博客
03-12 1595
文件名格式： image_index_100.jpg (如 32_100.jpg) 或 r_image_index_100.jpg(如 r_32_100.jpg) 或 r2_image_index_100.jpg or r3_image_index_100.jpg。文件夹 [Training]（Training）和 [Test]（Test）包含用于训练和测试目的的图像。多水果套装尺寸：103张图片（每张图片超过一种水果（或水果类别））注意：同一种水果（例如苹果）的不同品种属于不同的类别。
​Fruits 360数据集
土豆
04-28 6724
​Fruits 360数据集下载 百度网盘 [大小]：731.55MB [链接]：https://pan.baidu.com/s/15oNf0NHqhDxMCWfioD1MVw [提取码]：uy36 Kaggle https://www.kaggle.com/moltean/fruits GitHub https://gith...
自己制作npy数据集，数据格式类似于mnist数据（16）---《深度学习》
阿华Go，从现在开始的博客
10-23 1万+
代码：import tensorflow as tf import numpy as np import os from PIL import Imagedir="/home/jobs/Pictures/test"def getFileArr(dir): #存放每个图片对应三维数组 result_arr=[] #存放标签类，因为标签类的起始个数未知，期初无法进行标签的维度化表
Fruits 360（水果数据集）
不务正业的猿
10-26 1万+
原文： Fruits 360 A dataset with 90483 images of 131 fruits and vegetables The following fruits and are included: Apples (different varieties: Crimson Snow, Golden, Golden-Red, Granny Smith, Pink Lady, Red, Red Delicious), Apricot, Avocado, Avocado rip.
Python-Fruits360包含水果和蔬菜的图像数据集
08-11
Fruits-360: 包含水果和蔬菜的图像数据集
【深度学习】数据增强（Data Augmentation）numpy、opencv实现
zjn-ai的博客
03-25 3306
深度学习是以数据推动的学科，深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下，可以通过数据增强（Data Augmentation）来， 提高模型鲁棒性，避免过拟合。 数据增强的方法有很多种，比如旋转、水平翻转、垂直翻转、随机裁剪、色彩扰动、加入噪声、随机缩放等等。本文只讨论和实现两种最常用和最基本的方法：随机裁剪和水平翻转。 一、随机裁剪 以cifar-10...
如何制作自己的数据集
zjl-wgf
10-31 9531
如何制作自己的数据集   1. 本例数据只用了3类：摄像机，飞机，蝴蝶 2. 创建一个包含所有文件路径名的CSV文件，也就是一个文本文件txt 加入文件路径是：C:\Users\*****\Desktop，在DOS窗口下输入命令：如下图所示，执行成功后发现在识别数据库文件夹下出现一个文本文件at.txt： 3.生成的txt文件如下： 4. 添加标
使用Numpy训练基于MNIST数据集的深度卷积神经网络
yeholmes的专栏
01-23 2116
在《Fundamentals of Deep Learning》一书中，作者将深度神经网络中的隐藏层的作用描述为"This is where most of the magic is happening when the neural net tries to solve problems"；不过，从计算的角度来看，深度神经网络是一种功能强大的非线性变换，各个层的权重有着特定的处理数据的方式。然而...
Pytorch 语义分割DeepLabV3+ 训练自己的数据集 从数据准备到模型训练
weixin_41919571的博客
08-10 1万+
实现自动生成标注的图像分割设计 项目需求：本人接触项目要求实现砂石级配，因此第一步是实现砂石语义分割，将平铺的砂石个体分割出来。 步骤：获得分割样本->制作标签，VOC2012格式打包-> 利用DeepLabV3+完成语义分割工作->进一步研究 目录实现自动生成标注的图像分割设计一、数据处理二、制作标签使用labelme实现标注标签自动生成三、VOC格式打包四、环境配置五、网络训练六、模型测试 一、数据处理 通过传统图像处理方法获得自动标注数据。 图像处理方法后续单独写一篇介绍，基本采
kaggle下载数据集步骤
至臻求学，胸怀云月
02-01 6170
一.前言 在下载之余利用间隙时间来分享Microsoft Malware Classification Challenge (BIG 2015)数据集的获取。先前笔者在搜索引擎想得到获取方式的时候，几乎没有教程是特定于这个数据集的，于是想记录这个过程。 二.准备 1.安装kaggle库 pip install kaggle 2.注册登录kaggle账户https://www.kagg...
DeepLab V3+ 训练自己的数据
qq_36685744的博客
01-05 6254
一、前提 官网代码：https://github.com/tensorflow/models/tree/master/research/deeplab 1. 依赖 DeepLab依赖于以下库： Numpy Pillow 1.0 tf Slim (which is included in the "tensorflow/models/research/" checkout) Jupy...
制作自己的数据集完整过程（按照VOC格式）
u010451780的专栏
04-15 1134
本文按照VOC数据集的格式，制作出自己的数据集，此外介绍一款使用方便且能够标注多类别并能直接生成xml文件的标注工具——labelImg工具。 VOC数据集的介绍：https://blog.csdn.net/tttabcgy/article/details/80191889 Ubuntu源码安装 由于Ubuntu系统自带python，这款软件在Ubuntu环境下的安装是最方便的。软件要求pyt...
使用numpy构建深度学习网络实现图片分类
08-12
### 回答1： 使用numpy构建深度学习网络可以实现图片分类。具体步骤包括：1.读取图片数据，2.对图片进行预处理，3.构建神经网络模型，4.训练模型，5.测试模型。其中，numpy可以用来进行矩阵运算，如卷积、池化等操作，也可以用来实现激活函数、损失函数等。通过不断调整模型参数，可以提高模型的准确率，实现对图片的分类。 ### 回答2： 使用numpy构建深度学习网络实现图片分类可以通过以下步骤实现。 首先，我们需要准备数据集。可以使用numpy的loadtxt函数加载已有的图片数据集，或者使用第三方库如PIL来读取图片文件。将图片转换为numpy数组的形式，并进行数据预处理，如归一化、大小调整等。同时，需要为每个图片标注相应的类别标签。 其次，构建神经网络模型。可以使用numpy的数组和操作来定义网络的参数、搭建神经网络层、以及实现前向传播和反向传播的过程。可以使用numpy的数组函数来创建权重矩阵和偏置向量，并使用numpy的矩阵乘法等操作实现各个层的前向传播。同时，需要选择适当的激活函数，如ReLU、sigmoid等，并在网络的每一层应用。 然后，定义损失函数和优化器。可以使用numpy的数组函数来计算损失函数，如交叉熵损失函数，以及使用梯度下降法来更新网络参数。可以使用numpy的数组操作来计算梯度，并使用梯度下降法来更新参数。 最后，训练模型和评估性能。将数据集划分为训练集和测试集，使用训练集来训练神经网络，并使用测试集来评估模型的性能。可以使用numpy的循环和数组操作来进行训练和评估的过程。可以使用numpy的数组函数来计算预测结果，并与真实标签进行比较，计算准确率或其他性能指标。 总之，使用numpy构建深度学习网络实现图片分类涉及到数据预处理、神经网络模型搭建、损失函数和优化器定义、模型训练和评估等步骤。使用numpy的数组和操作可以方便地进行这些步骤，并且可以灵活地定义和控制深度学习网络的各个组成部分。 ### 回答3： 使用numpy构建深度学习网络实现图片分类可以分为以下几个步骤。 首先，需要导入numpy库，并载入训练数据和标签。训练数据的维度为(n, d)，其中n是样本的个数，d是每个样本的特征向量的维度。标签的维度为(n, k)，其中k是类别的个数，每个样本的标签是一个长度为k的向量，其中只有一个元素为1，表示样本所属的类别。 接下来，需要定义网络的结构和参数。例如，可以使用多层感知机（Multi-Layer Perceptron，MLP）的结构。可以定义输入层、隐藏层和输出层的大小，并初始化权重和偏置。 然后，需要定义前向传播函数，用于计算每个样本在网络中的输出。可以使用矩阵相乘和激活函数来实现。例如，可以使用sigmoid函数或ReLU函数作为激活函数。 接着，需要定义损失函数，用于衡量网络输出与标签之间的差异。可以使用交叉熵损失函数。 接下来，需要定义反向传播函数，用于计算梯度并更新网络参数。可以使用梯度下降法来更新权重和偏置。 然后，可以使用训练数据进行网络训练。通过多次迭代，不断更新网络参数，使得损失函数逐渐减小。 最后，可以使用测试数据对网络进行评估。通过计算网络在测试数据上的准确率或其他指标，来评估网络的性能。 总结起来，使用numpy构建深度学习网络实现图片分类的步骤包括导入库和数据、定义网络结构和参数、定义前向传播函数、定义损失函数、定义反向传播函数、进行网络训练和进行网络评估。这样可以通过numpy库提供的功能和矩阵运算，来实现一个简单的深度学习网络并进行图片分类。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值