机器学习备忘录之图像数据不足时的处理方法

最新推荐文章于 2021-10-25 21:35:04 发布
最新推荐文章于 2021-10-25 21:35:04 发布
阅读量262 收藏 1
点赞数
分类专栏： 一些基础分享 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laicikankna/article/details/106350424
版权

一个模型能提供的信息一般来源于两个方面

一是训练数据中蕴含的信息；

二是模型的形成过程中(包括构造、学习、推理等)人提供的先验信息。

训练不足时则要提供更多先验信息。先验信息作用在模型上，如让模型采用特定的内在结构、条件假设或添加一些约束条件。先验信息也可以作用在数据集上，如根据特定的先验假设调整、变换和扩展数据集，让其展现出更多更有用的信息。

图像分类任务中，**训练数据不足的问题主要表现在过拟合方面**
在这里插入图片描述

参考：
百面机器学习 算法工程师带你去面试
百面机器学习 第一章 特征工程
百面机器学习｜第一章特征工程知识点

毒吻可积
关注
专栏目录
haji_pata:第一个模式识别学习备忘录
06-10
《模式识别学习备忘录——以HTML为重点》 在信息技术领域，模式识别是一种关键技术，它涉及机器学习、人工智能以及数据挖掘等多个子领域。本备忘录主要针对初学者，旨在帮助理解并掌握模式识别的基本概念，并以HTML...
dbms提供数据_DBMS | 数据复制方案，数据复制的优缺点
cumtv80668的专栏
08-04 490
dbms提供数据Working on the Distributed System, Data Replication can be Full Replication, such that the whole database gets replicated to every location. It can be Partial Replication in which only the mos...
图像数据不足时的处理方法
IT荻的博客
03-04 1690
一个模型所能提供的信息一般来源于两个方面，一是训练数据中蕴含的信息；二是在模型的形成过程中（构造，学习，推理），人们提供的先验信息。训练数据不足时，说明模型从从原始信息获取的信息比较少，要想保证效果，就要更多的先验信息。先验信息可以作用在模型上，例如让模型采用特定的内在结构，条件假设；先验信息也可以直接施加在数据集上，即根据特定的先验假设去调整，变换或扩展训练数据，让其展现出更多更有用的信息，以利...
图像数据不足的处理方法
rookie的博客
10-25 1015
图像分类任务中，训练数据不足带来的问题，主要是过拟合方面。 处理方法分为两类， 一是基于模型的方法，包括简化模型(将非线性模型简化为线性模型)，添加约束项以缩小假设空间（如L1 L2正则项），集成学习，dropout超参数等； 二是基于数据的方法， 1.一定程度内的随机旋转，平移，缩放，裁剪，填充，左右翻转等 2.添加噪声，椒盐噪声，高斯白噪声 3.颜色变换，在图像的rgb空间上进行主成分分析，得到3个主成分的特征向量和特征值，然后在rgb值上添加增量。 4.改变亮度，清晰度，对比度，锐度 ...
ImageCLEF数据集处理（Python读取txt内容创建文件夹；将图片拷贝至指定文件夹）
l8947943的博客
12-04 4278
1. 问题描述 做迁移时候用到公共数据集ImageCLEF， 但是给的结构如图： 有b,c,i, p四种图像数据，和list数据，对应每一条数据的名称及其标签，记录举例如下： b/252.car-side-101/252_0446.jpg 6 2.目标：做成如下格式 每种图片归为自己类别......
深度学习对已标记的图片及标签进行批量复制
weixin_41251668的博客
09-07 1141
深度学习对已标记的图片及标签进行批量复制文件夹内图片搜索及复制 文件夹内图片搜索及复制 在日常生产中，一次性完成对大量图片的标注案例是比较少的，通常需要通过多次多批量的对不同场景下的图片进行标注，比如对安全帽检测的标记中，我们可以先通过爬虫对安全帽的图片进行爬取，并通过labelme或者labelimg标注工具进行标注，但是该标注还不能应用在生产实际中，我们还需要针对特定的场景进行多次采样并进行多数据标注，通过这些数据集训练出的模型可以提高对特定场景检测的准确度和置信度。 首先是对图片和标签进行文件夹下的全
人工智能应用技术备忘录
最新发布
08-27
人工智能的应用技术备忘录旨在总结和整理人工智能相关的概念、方法和技术，以便更好地理解和应用人工智能技术。 1. 回归模型（Linear Predictors） 在机器学习中，回归模型是指使用数学函数来预测连续值输出的模型...
人工智能之机器翻译研究报告.docx
10-24
- **起源**：1949年，Warren Weaver发表了一份备忘录，首次提出了机器翻译的可能性，并认为翻译类似于解读密码的过程，同时认为可以通过一种通用的中间语言来实现不同语言之间的转换。 - **早期实践**：1954年，...
HCDE438-Cheatsheets:HCDE 438 2020年夏季备忘单
04-01
- Spark框架：了解Spark Core、Spark SQL、Spark Streaming和MLlib等模块，以及如何使用Spark进行大数据处理和机器学习。 - 数据流处理：熟悉Apache Flink和Kafka等实时数据处理工具。 4. 数据安全与隐私： - ...
数据不够，怎么训练数据集？别怕，有TA
华为云官方博客
08-05 4942
这里介绍其中一种带标签扩充数据集的方法。
01批量移动（复制）文件—制作训练集
liming_2464的博客
03-09 199
1.数据组织格式： 源数据组织格式： 新数据组织格式： 2.代码实现： # 深度学习过程中，需要制作训练集和验证集、测试集。 import os import random import shutil def moveFile(fileDir, tarDir): categorys = os.listdir(fileDir) # 所有类别 # pri...
机器学习扩充图像数据集的利器
Ming's的博客
10-07 743
imgaug是一个python库，可帮助您为机器学习项目扩充图像。它将一组输入图像转换为一组稍有变化的新的，更大的图像。 This python library helps you with augmenting images for your machine learning projects. It converts a set of input images into a new, ...
matlab使用yalmip工具箱
热门推荐
laicikankna的博客
04-30 1万+
使用yalmip工具箱可以像书写数学模型那样输入规划问题的约束和目标函数，非常方便。 以下为在Matlab R2018a下添加yalmip并简单使用的例子 一、下载解压 下载地址：https://yalmip.github.io/download/ 我下载后解压在D盘 二、添加路径 注意！！！路径中最好没有中文 选择“添加并包含子文件夹”，将 yalmip 的路径添加进去 在命令行中输入whi...
解决socket.timeout:The read operation timed out
laicikankna的博客
05-13 9258
windows下在使用清华源超时pip install -U tensorflow-gpu -i https://pypi.tuna.tsinghua.edu.cn/simple。遇到了问题：socket.timeout:The read operation timed out 大概是由于网速不稳定，下载过慢，超出默认时间。 修改方法: windows下输入 pip --default-timeout=100 install 包名 这里我使用的是pip --default-timeout=1000 ins
python均匀分布
laicikankna的博客
04-25 9078
输出一个均匀分布[1,2]的浮点数 import random random.seed(1) random.uniform(1, 2) 输出一个均匀分布[1,2]的浮点数（此时没有设seed，输出不固定） import random #random.seed() random.uniform(1, 2) 输出一千个均匀分布[0,1)的浮点数（此时没有设seed，输出不固定） np.random...
解决Failed calling sys.__interactivehook__
laicikankna的博客
05-02 5590
Failed calling sys.__interactivehook__ Traceback (most recent call last): File "C:\Users\11050\Anaconda3\lib\site.py", line 439, in register_readline readline.read_history_file(history) File "...
win10下python3.7安装gsutil从Google Storage for Developers下载数据
laicikankna的博客
06-07 3443
偶然之间，需要在Google Storage for Developers下载一些文件，由于有墙前期遇到一些困难，但是最后成功得有些简单。要是可以打开的话，可以看看官方下载说明了解更多GSUtil安装方式，本文只针对Windows使用pip安装gsutil。 网上有说法要用python2.x，不过我看官方说明也是支持3.x的，本文用的3.7。 本文以 gs://clusterdata-2011-2/为例。 查看文件夹下的内容gsutil ls gs://clusterdata-2011-2/； 将文件
Python输出 9*9 乘法口诀表
laicikankna的博客
04-22 2292
def table(): #乘法口诀表 for i in range(9): for j in range(i+1): if (i+1)*(j+1)>9: print('{}*{}={}'.format(j+1,i+1,(i+1)*(j+1)),end=' ') else: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值