datawhale组队学习CV记录二

最新推荐文章于 2024-09-15 08:18:11 发布

有很多问题的我

最新推荐文章于 2024-09-15 08:18:11 发布

阅读量113

点赞数

分类专栏： CV 文章标签：计算机视觉

本文链接：https://blog.csdn.net/weixin_44333727/article/details/106303592

版权

CV 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

数据读取与数据扩增
1.数据读取
图像数据通常使用Pillow和OpenCV：
在这里插入图片描述

2.数据扩增
数据扩增可以增加训练集的样本，缓解过拟合情况也可以给模型带来更强的泛化能力。
数据扩增的方法：
本次比赛的图像数据不能进行翻转，数字一旦翻转就改变了原本的含义。
常用数据扩增库：torchvision，imgaug，albumentations

3.pytorch数据读取

在Pytorch中数据是通过Dataset进行封装，并通过DataLoder进行并行读取。

Dataset：对数据集的封装，提供索引方式的对数据样本进行读取
DataLoder：对Dataset进行封装，提供批量读取的迭代读取

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

有很多问题的我

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

datawhale组队学习CV记录五

weixin_44333727的博客

06-02

147

模型集成 1.集成学习的方法机器学习中常见的集成学习方法有: 1)Stacking 2)Bagging 3)Boosting 在10个CNN模型可以使用如下方式进行集成： 1）对预测的结果的概率值进行平均，然后解码为具体字符； 2）对预测的字符进行投票，得到最终字符。 2.深度学习中的集成学习 1）Dropout：在每个训练批次中，通过随机让一部分的节点停止工作。同时在预测的过程中让所有的节点都作用。 2）TTA（测试集数据扩增）：数据扩增不仅可以在训练时候用，而且可以同样在预测时候进行数据扩增

datawhale组队学习CV记录四

weixin_44333727的博客

05-30

119

模型训练与验证 1.构造验证集模型容易出现过拟合现象，为解决过拟合需要构建一个与测试集尽可能分布一致的验证集。 1）训练集（Train Set）：模型用于训练和调整模型参数； 2）验证集（Validation Set）：用来验证模型精度和调整模型超参数； 3）测试集（Test Set）：验证模型的泛化能力。在没有给定验证集的情况下，需要从训练集冲拆分一部分得到验证集。验证集的划分有三种方法： 1）留出法（Hold-Out）直接将训练集划分成两部分，得到新的训练集和验证集。有可能导致模型在验证集上过拟

参与评论您还未登录，请先登录后发表或查看评论

datawhale组队学习CV记录三

weixin_44333727的博客

05-27

136

字符识别模型根据大赛题目来构建一个定长字符分类模型，构建模型需要学会用pytorch框架来构建CNN模型，因此本次学习从CNN开始。 1.CNN CNN是卷积神经网络 CNN常见模型： LeNet-5(1998) AlexNet(2012) VGG-16(2014) Inception-v1 (2014) ResNet-50 (2015) 2.pytorch构建CNN模型在Pytorch中构建CNN模型需要定义好模型的参数和正向传播，Pytorch会根据正向传播自动计算反向传播。本次学习的是一个简单

datawhale组队学习CV记录一

weixin_44333727的博客

05-20

115

理解赛题背景和赛题数据完成赛题报名和数据下载，理解赛题的解题思路本次赛题的难点是需要对不定长的字符进行识别，有三种解决思路： 1）将所有图像都抽象为6个字符，对不足6个字符的进行填充，则原问题编程6字符分类问题 2）不定长字符识别 3）先检测再分类，先利用检测识别出字符位置，再对字符进行分类 ...

二、预训练模型预测（Datawhale组队学习）

小刘的博客

01-18

1513

本篇文章主要介绍了用预训练模型进行图像分类预测的步骤以及三个应用场景，包括对单张图片的预测、视频文件的预测和摄像头实时画面的预测。无论是针对哪种任务，都要载入预训练好的图像分类模型、对图像进行预处理。针对单张图片的预测任务，可以利用预训练的模型得到所有类别的预测概率，从而选择概率最大的类别针对视频文件的预测任务，我们需要对视频逐帧处理（图像分类任务），再把每一帧串成视频文件摄像头实时画面预测任务，和视频文件的预测任务类似，只不过是通过摄像头得到每一帧的画面。

202201期Datawhale组队学习——吃瓜教程

weixin_44259058的博客

01-11

669

目录前言学习路线Task00：熟悉规则（1.9）Task01：概览西瓜书+南瓜书第1、2章（1.10、1.11）Task02：详读西瓜书+南瓜书第3章（1.12-1.17）一、一元线性回归与多元线性回归（1.12、1.13）二、对数几率回归（1.14、1.15）三、线性判别分析（1.16、1.17）Task03：详读西瓜书+南瓜书第4章（1.18-1.20）Task04：详读西瓜书+南瓜书第5章（1.21-1.23）Task05：详读西瓜书+南瓜书第6章（1.24-1.27）一、支持向量机（1.24-1.2

七、图像分类模型的部署（Datawhale组队学习）

小刘的博客

01-29

912

本文主要讲述了ONNX-ONNX Runtime部署流程，首先将训练好的Pytorch模型转ONNX模型，这样我们就可以将ONNX模型在任何安装了ONNX Runtime环境的机器上进行运行，进行单张图片的预测、调用摄像头进行实时画面的预测等。使用ONNX我们可以让模型在不同框架之间进行迁移，方便我们低成本的将模型部署到移动设备中去。

四、新图片、新视频预测（Datawhale组队学习）

小刘的博客

01-25

1097

本篇文章主要讲述了如何利用上次[三、利用迁移学习进行模型微调（Datawhale组队学习）](https://blog.csdn.net/qq_46378251/article/details/128751646?spm=1001.2014.3001.5501)得到的图像分类模型，分别在新的图像文件、新的视频文件和摄像头实时画面上进行预测。！！！注意：如果之前的图像分类模型是在CPU上训练得到的，这里用GPU版的pytorch导入模型的时候可能会出错，大家一定要注意版本的统一。

第28期Datawhale组队学习——动手学数据分析

weixin_44259058的博客

08-17

403

目录前言环境配置学习路线Task01：数据加载及探索性数据分析（8.16、8.17）Task02：数据清洗及特征处理Task03：数据重构Task04：数据可视化Task05：数据建模及模型评估前言 Datawhale第28期组队学习来了！这次很幸运报名成功！我选择的是Datawhale开源学习项目——“动手学数据分析”，本次学习周期为8.15-8.26，在此记录本人初次接触数据分析的学习历程。环境配置笔者使用的软件实验环境为Win10系统，Anaconda3。 1、环境配置（Anaconda Pro

Pytorch图像分类实战笔记Task01-Task07|Datawhale组队学习

weixin_45480097的博客

01-17

860

将数据集统一命名为数字-->获得文件名列表full_dataset-->打乱列表random_dataset-->set train_rate = 0.8,train_dataset = random_dataset[:int(full_dataset)*0.8],test_dataset =random_dataset[int(full_dataset)*0.8:] -->移动文件。文件：gif格式的、非三通道图片（三通道图可以是彩色图，可以是灰度模式的图像。第一步，导入所需要的库。

Datawhale炼丹之Object Detetion（1）colab环境配置+数据集导入+目标检测的基本概念

weixin_45561472的博客

12-16

469

文章目录前言一、关于环境二、Colab环境和数据集导入1.挂载Google Drive2.导入数据集总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入前言一时兴起和好朋友一起组队参加了

python机器学习参数调优

qq_40680151的博客

08-03

2174

前言此系列文章旨在记录本人学习python过程中遇到的一些值得总结，方便之后及时复习的内容。本篇博客介绍机器学习中参数调优的一些知识，即网格搜索，随即搜索等，以及一些pipeline的知识。基础知识有监督学习中根据因变量的连续与否，可以分为回归和分类问题：回归：因变量是连续型变量，如：房价，体重等。分类：因变量是离散型变量，如：是否患癌症，西瓜是好瓜还是坏瓜等。为了更好地叙述后面的内容，我们对数据的形式作出如下约定：第iii个样本：xi=(xi1,xi2,...,xip,yi)T,i=1

1st Competition of Datawhale: the car price prediction

foolloof的博客

03-24

1408

1st Competition of Datawhale: the car price prediction 这里将作为整个赛程的总结。其中会遇到很多沟沟坎坎。望努力，最后通关，自己得到提升。 Task1 参赛组队第一步就是参加比赛，组成队伍，确定队名我自己的编号。我在3群，编号113。队长队友都很好，早早就把baseline贴出来了。但是无奈信息对于我这个新手来说还是太多了。 Task...

深度学习模型训练全流程！