cnn学习之训练和测试数据集处理

最新推荐文章于 2023-10-13 15:12:43 发布
VIP文章 最新推荐文章于 2023-10-13 15:12:43 发布
阅读量5.9k 收藏 3
点赞数
分类专栏： cnn dl machine learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bvl10101111/article/details/53543489
版权

最近，在看alexnet，vgg，googlenet的论文时，对于论文中training和testing的时候对于image的处理，做一下总结。（其中有些困惑，可能理解不到位，还望指出）


training

我们知道对于cnn而言，输入的数据大小是必须相同的，而对于imagenet中的数据集而言，大小不一，因此一般先rescale成一个固定大小比如256*256，然后再从这256*256的图片中crop成一个固定大小比如224*224，因此最原始的图片-》rescale-》crop最后变成了统一大小的输入，


但是在rescale的时候，alexnet采用全都rescale成256*256大小，而在vgg中，采用了三种模式，一种是全都rescale成一个大小，一种是rescale成几个固定大小，还有一种是rescale成一个范围[Smin,Smax]的不同大小，实验表明最后一种效果更好，因为，rescale成不同大小后，再crop的时候，能够取得不同粒度不同角度下的这张图片，更加准确。



testing

在testing的时候

alexn

最低0.47元/天 解锁文章
BVL10101111
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MNIST手写数字数据集和训练代码
03-14
由于其易于获取和处理的特性，MNIST数据集被广泛用于各种机器学习算法的测试和验证，尤其是用于图像识别和分类任务。 在训练模型时，我们通常会使用Python等编程语言，结合深度学习框架如TensorFlow或PyTorch等，来...
ImageNet Classification with Deep Convolutional Neural Networks（Alexnet）
苏门蒲元的博客
02-26 958
ImageNet Classification with Deep Convolutional Neural Networks（Alexnet） 1.创新的地方 （1）使用ReLu函数作为CNN的激活函数 （2）使用dropout防止过拟合 （3）使用重叠最大池化 （4）提出了LRN层 2.摘要# （1）提出了一个深度卷积网络，在ImageNet LSVRC2010，top1和top5错误分别是3...
使用caffe中的imagenet对自己的图片进行分类训练(超级详细版)
u011244794的博客
06-02 3万+
因为自己在网络上查到的资料对于一个新手来说虽然指明了方向，但是在细节上没有给出很好的实例，因此我把自己训练的过程记录下来。 【实验环境】 物理内存：64G Free：7.5G  CPU个数：3，单个CPU物理核数：8 操作系统：Linux 备注：具有GPU运算能力 【实验目标】 使用自己的图片集，以及caffe框架，对imagenet进行训练，得到自己的model。
ImageNet数据集介绍
抓饭不吃皮牙子
10-13 2566
ImageNet是一个庞大的视觉对象识别数据库，由斯坦福大学的计算机科学系开发。它是一个包含超过1400万张图像的大规模图像数据库，用于训练和评估计算机视觉算法。ImageNet数据集的目标是识别和分类图像中的各种物体和场景。它涵盖了从动物到交通工具等各个领域的图像。ImageNet数据集是一个规模庞大且多样性的图像数据库，用于训练和评估计算机视觉算法。它具有高质量的标注和挑战性的任务，广泛应用于图像分类、目标检测和图像生成等领域。
带你读论文系列之计算机视觉--AlexNet
wuli_xin的博客
06-22 508
带你读论文系列之计算机视觉–AlexNet 少一些功利主义，多一些不为什么的坚持，你将变得异常美丽！加油，小可爱们！ 背景及作者 AlexNet被认为是计算机视觉领域最有影响力的论文之一，它刺激了更多使用卷积神经网络和GPU来加速深度学习的论文的出现。截至2020年，AlexNet论文已被引用超过54,000次。 AlexNet参加了2012年9月30日举行的ImageNet大规模视觉识别挑战赛，达到最低的15.3%的Top-5错误率，比第二名低10.8个百分点。 TOP5错误率:即对一个图片，如果概率前
遍历ImageNet或者Place365_256x256或者Celeba生成flist
了悟生死大事
02-16 517
#for windows import argparse import os from random import shuffle parser = argparse.ArgumentParser() parser.add_argument('--folder_path', default='./place365_256x256', type=str, help='The folder path') parser.add_argument('--train_file...
CNN- 数据预处理
乐乐的博客
09-06 6654
原文：https://www.cnblogs.com/luxiao/p/5534393.html 对于CNN输入的数据，常见的有三种处理方式：      1.Mean subtraction.  将数据的每一维特征都减去平均值。在numpy 中 X -= np.mean(X, axis = 0)      2.Normalization  归一化数据，使数据在相同尺度。 在numpy 中 X...
object detection（物体检测）系列论文梳理
zhang_shuai12的专栏
09-16 1万+
object detection论文阅读梳理：1、R-CNN：Rich feature hierarchies for accurate object detection and semantic segmentation 技术路线：selective search + CNN + SVMsR-CNN网络结构： Step1:候选框提取(selective search)训练：给定一张图片，利用s
深度学习基础（CNN详解以及训练过程1）
weixin_34178244的博客
07-11 1万+
深度学习是一个框架，包含多个重要算法:  Convolutional Neural Networks(CNN)卷积神经网络 AutoEncoder自动编码器 Sparse Coding稀疏编码 Restricted Boltzmann Machine(RBM)限制波尔兹曼机 Deep Belief Networks(DBN)深信度网络 Recurrent neural Network(RNN)多...
机器学习中训练集、验证集和测试集的作用
Neleuska的博客
06-13 6万+
通常，在训练有监督的机器学习模型的时候，会将数据划分为训练集、验证集合测试集，划分比例一般为0.6:0.2:0.2。对原始数据进行三个集合的划分，是为了能够选出效果（可以理解为准确率）最好的、泛化能力最佳的模型。训练集（Training set）作用是用来拟合模型，通过设置分类器的参数，训练分类模型。后续结合验证集作用时，会选出同一参数的不同取值，拟合出多个分类器。验证集(Cross Valida...
机器学习手写数字识别数据集-csv
11-27
手写数字识别是机器学习中的一个经典问题，通常涉及将手写数字的图像与其对应的数字进行关联。这种问题通常被认为是计算机视觉领域的...评估： 使用测试数据集对训练好的模型进行评估，了解其在未见过的数据上的性能。
基于机器学习和图像处理的手写数字识别项目
最新发布
03-01
数据集：采用了经典的MNIST数据集，包含大量手写数字图像和相应的标签，用于模型训练和测试。 模型架构：采用了卷积神经网络（CNN）等机器学习模型作为主要架构，通过对图像特征的学习和提取，实现高效的数字识别。 ...
车辆数据集（车辆识别与分类）
06-01
在本数据中，训练数据集与测试数据集占比约为5:1。 数据说明 文件列表 训练集：train.tfrecords 测试集：test.tfrecords 标签值说明：0=“自行车”,1=“汽 车”'，2=“摩托车”，3=“货 车”
机器学习作业，机器学习和深度学习方法实现的入侵检测+源代码+文档说明+数据集
12-23
1、资源内容：机器学习作业，机器学习和深度学习方法实现入侵...数据集为UNSW_NB15官方数据集，42列特征，一列标签，二分类问题； 采用的方法为：① 特征处理；② Pearson过滤和随机森林特征选择；③ CNN训练 参考
Deep Learning 最优化方法之Momentum（动量）
热门推荐
BVL的博客
05-21 7万+
本文是Deep Learning 之 最优化方法系列文章的Momentum（动量）方法。主要参考Deep Learning 一书。先上结论： 1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。 2.加速学习 3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。
Deep Learning 最优化方法之RMSProp
BVL的博客
05-21 6万+
本文是Deep Learning 之 最优化方法系列文章的RMSProp方法。主要参考Deep Learning 一书。先上结论 1.AdaGrad算法的改进。鉴于神经网络都是非凸条件下的，RMSProp在非凸条件下结果更好，改变梯度累积为指数衰减的移动平均以丢弃遥远的过去历史。 2.经验上，RMSProp被证明有效且实用的深度学习网络优化算法。 相比于AdaGrad的历史梯
Deep Learning 最优化方法之Adam
BVL的博客
05-21 4万+
本文是Deep Learning 之 最优化方法系列文章的Adam方法。主要参考Deep Learning 一书。先上结论： 1.Adam算法可以看做是修正后的Momentum+RMSProp算法 2.动量直接并入梯度一阶矩估计中（指数加权） 3.Adam通常被认为对超参数的选择相当鲁棒 4.学习率建议为0.001 再看算法：其实就是Momentum+RMSProp
Attention Model（mechanism） 的 套路
BVL的博客
11-07 3万+
最近刷了一些attention相关的paper(照着here的列表+自己搜的paper)，网上相关的资料也有很多，在此只讲一讲自己对于attention的理解，力求做到简洁明了。一.attention 的本质 attention其实就是一个加权求和。 attention处理的问题，往往面临的是这样一个场景： 你有kk个dd维的特征向量hi(i=1,2,...,k)h_i (i=1,2,...
Deep Learning 最优化方法之Nesterov(牛顿动量)
BVL的博客
05-21 2万+
本文是Deep Learning 之 最优化方法系列文章的Nesterov(牛顿动量)方法。主要参考Deep Learning 一书。先上结论： 1.Nesterov是Momentum的变种。 2.与Momentum唯一区别就是，计算梯度的不同，Nesterov先用当前的速度v更新一遍参数，在用更新的临时参数计算梯度。 3.相当于添加了矫正因子的Momentum。
利用CNN训练自己的数据集
08-02
引用[1]中提到了对训练用的图片生成测试集或验证集的问题，以及训练时对输入图片的处理。根据这些信息，可以推断出用户想要了解如何利用CNN训练自己的数据集。 要利用CNN训练自己的数据集，首先需要准备好数据集。这包括收集和标记图像数据。收集足够数量的图像数据，并为每个图像分配正确的标签，以便模型可以学习识别不同类别的图像。 一旦数据集准备好，就可以开始训练模型。训练CNN模型的过程通常包括以下几个步骤： 1. 数据预处理：对图像进行预处理，包括调整大小、归一化、增强等操作，以便提高模型的训练效果。 2. 构建模型：选择适合任务的CNN模型架构，并根据数据集的特点进行调整。可以使用现有的预训练模型，如VGG、ResNet等，也可以自己设计模型。 3. 编译模型：定义损失函数和优化器，并编译模型。 4. 训练模型：使用准备好的数据集进行模型训练。将数据集分为训练集和验证集，用训练集进行模型训练，用验证集评估模型的性能。 5. 调整模型：根据验证集的性能调整模型的超参数，如学习率、批量大小等，以提高模型的性能。 6. 评估模型：使用测试集评估模型的性能，计算模型的准确率、精确率、召回率等指标。 7. 预测新数据：使用训练好的模型对新的未见过的数据进行预测。 以上是利用CNN训练自己的数据集的一般步骤。具体的实现细节和代码可以参考引用[2]中提供的博客和源码链接，其中包含了详细的步骤和示例代码，可以根据自己的需求进行参考和修改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值