竞赛之神
文章平均质量分 55
数据科学竞赛常用的代码和必须要知道的知识内容
落难Coder
这里是我的笔记,而你恰好看到
展开
-
Albumentations数据增强部分方法使用和可视化展示
有人使用Albumentations库的Blur, Flip, RandomBrightnessContrast, ShiftScaleRotate, ElasticTransform, Transpose, GridDistortion, HueSaturationValue, CLAHE, CoarseDropout在图像分类比赛中取得第二名,所以本人写了这篇文章)。缩放图像,使最小边等于max_size,保持初始图像的纵横比。缩放图像,使最大边等于max_size,保持初始图像的纵横比。原创 2022-12-28 18:01:22 · 2055 阅读 · 1 评论 -
Timm打图像分类竞赛入门使用
【代码】Timm打图像分类竞赛入门使用。原创 2022-12-22 23:52:10 · 373 阅读 · 0 评论 -
何凯明最新一作MAE(mask掉图片的部分信息也能重建识别)
本文表明,掩码自编码器(Masked Autoendoers, MAE)是可用于计算机视觉的可扩展自监督学习器。MAE手段很简单:我们将输入图像分块并随机掩码,重建丢失的像素。它基于两个核心设计:1、我们开发了一个非对称的编码-解码架构,其中编码器只在可见的图像子块上进行操作,以及一个轻量级的解码器,它从潜在表征和掩码令牌重构原始图像;2、我们发现高比例的图像遮挡,例如75%,会产生一个具有重要意义的自监督任务。结合这两种设计使我们能够有效并高效地训练大模型:我们提升训练速度三倍之多并提升精度。原创 2022-12-22 21:54:32 · 1016 阅读 · 0 评论 -
【竞赛总结】“域见杯”医检宫颈癌图像分类比赛
【竞赛总结】“域见杯”医检宫颈癌图像分类比赛原创 2022-12-10 20:11:20 · 744 阅读 · 0 评论 -
【目标检测竞赛总结】IEEE UV 2022 “Vision Meets Algae” Object Detection Challenge
https://tianchi.aliyun.com/competition/entrance/532036/introduction?spm=5176.12281957.0.0.54963eafwig16bMarine microalgae are widely distributed in the ocean as a part of the “blue carbon sink” that uses solar energy and dissolved CO2 to grow and prolifera原创 2022-12-03 23:28:58 · 471 阅读 · 0 评论 -
【李沐-Kaggle-Classify Leaves】李沐老师Kaggle树叶分类实战代码
李沐老师Kaggle树叶分类实战代码原创 2022-11-19 12:20:31 · 664 阅读 · 1 评论 -
竞赛开源项目汇总
竞赛开源项目汇总原创 2022-11-18 20:47:45 · 668 阅读 · 1 评论 -
【LSTM实战】股票走势预测全流程实战(stock predict)
第一张图表示训练的模型在train集上的表现,第二张图表示在test上预测的表现。根据日期的数据列可以大致总结,周六周日有两天不进行股价交易。原创 2022-11-19 00:45:00 · 2012 阅读 · 1 评论 -
数据增强-GridMask Data Augmentation
数据增强-GridMask Data Augmentation原创 2022-11-08 20:34:48 · 286 阅读 · 0 评论 -
【Kaggle竞赛总结】ECCV2020全球小麦检测(Global Wheat Detection)竞赛总结
【Kaggle竞赛总结】ECCV2020全球小麦检测(Global Wheat Detection)竞赛总结原创 2022-11-07 12:09:32 · 1671 阅读 · 1 评论 -
Kaggle-猫狗图像分类全流程实践(支持迁移学习和其他分类任务迁移)
Kaggle-猫狗图像分类全流程实践,支持迁移学习和各种图像分类任务迁移原创 2022-11-05 00:00:00 · 819 阅读 · 5 评论 -
目标检测小目标数据增强大杀器-贴图方案(支持yolo格式)
目标检测小目标数据增强大杀器-贴图方案原创 2022-11-03 12:47:35 · 869 阅读 · 2 评论 -
基于Albumentations库的离线数据增强(支持在线和离线)
【代码】基于Albumentations库的离线数据增强(支持在线和离线)原创 2022-10-25 01:27:16 · 1163 阅读 · 0 评论 -
伪标签Pseudo Label
伪标签()是半监督学习中的一个概念,能够帮助模型更好的从无标注的信息中进行学习。与完全的无监督学习相比,半监督学习拥有部分的标注数据和大量的未标注数据,这种形式也更加适合现实场景和竞赛场景。在现实,标注数据少,未标注数据多;在竞赛,训练集有标注,测试集未标注;那么如何完全将未标注的数据利用起来呢?在半监督学习中伪标签是其中的方法,具体思路如下:首先利用现有的标注数据,训练得到一个模型;利用训练得到的模型对无标注数据进行预测;然后将无标注数据的预测标签和数据加入训练集一起训练;原创 2022-10-21 11:01:27 · 4655 阅读 · 0 评论 -
【迁移学习】torchvision轻松支持图像分类模型迁移学习
高版本支持各种SOTA的图像分类模型,同时还支持不同数据集分类模型的预训练模型的切换。使用起来十分方便快捷,PytrochFinetune模式:基于预训练模型,全链路调优参数冻结特征层模式:这种方式只修改输出层的参数,CNN部分的参数冻结上述两种迁移方式,分别适合大量数据跟少量数据,前一种方式计算跟训练时间会比第二种方式要长点,但是针对大量自定义分类数据效果会比较好。原创 2022-10-08 19:23:46 · 384 阅读 · 0 评论 -
【模型提分tricks】Adversarial Weight Perturbation(AWP)对抗训练
在如今AI遍及各行各业的情况下,现在不论是搞科研还是做比赛,一个非常重要的问题就是提升模型的robust,让训练出来的模型能更好的泛化到一个从未见过的测试集上,以此减小线上和线下的gap。原创 2022-09-14 18:00:16 · 963 阅读 · 1 评论 -
AI研习社-肺炎X光病灶识别(成绩77.5146)
肺炎X光病灶识别原创 2022-09-09 02:07:34 · 228 阅读 · 0 评论 -
深度学习图像分类任务中的技巧总结
计算机视觉主要问题有图像分类、目标检测和图像分割等。针对图像分类任务,提升准确率的方法路线有两条,一个是模型的修改,另一个是各种数据处理和训练的技巧(tricks)。图像分类中的各种技巧对于目标检测、图像分割等任务也有很好的作用,因此值得好好总结。本文在精读论文的基础上,总结了图像分类任务的各种tricks。...原创 2022-08-18 18:58:27 · 768 阅读 · 0 评论 -
Pytorch 训练技巧
在PyTorch中使用交叉熵损失函数的时候会自动把label转化成onehot,所以不用手动转化,而使用MSE需要手动转化成onehot编码。:去除dim指定的且size为1的维度,维度大于1时,squeeze()不起作用,不指定dim时,去除所有size为1的维度。验证模型时不需要求导,即不需要梯度计算,关闭autograd,可以提高速度,节约内存。在加载预训练模型的时候,我们有时想冻结前面几层,使其参数在训练过程中不发生变化。指定GPU的命令需要放在和神经网络相关的一系列操作的前面。...原创 2022-08-08 12:50:12 · 344 阅读 · 0 评论 -
2022“域见杯”医检人工智能开发者大赛Rank 48代码分享(附过采样和降采样实现)
2022“域见杯”医检人工智能开发者大赛Rank 48代码分享(附过采样和降采样实现)原创 2022-08-02 12:13:01 · 233 阅读 · 0 评论 -
ResNet50+k折交叉验证+数据增强+画图(准确率、召回率、F值)
ResNet50+k折交叉验证+数据增强+画图(准确率、召回率、F值)原创 2022-07-28 23:26:38 · 1289 阅读 · 0 评论 -
【比赛参考】PyTorch常用代码段以及操作合集
一个简单两层卷积网络的示例............卷积层的计算和展示可以用这个网站辅助。双线性汇合(bilinearpooling)多卡同步BN(Batchnormalization)..将已有网络的所有BN层改为同步BN层setattr(module,name)=convert_syncbn_model(child_module,process_group=process_group))returnmodule类似BN滑动平均.......计算模型整体参数量......转载 2022-07-26 16:17:25 · 164 阅读 · 0 评论 -
利用Kaggle的API对数据集进行下载
6.打开终端,粘贴。最后数据存放的地址每个人的会有不同。下载时候会有路径显示,注意看一下就行。,根据提示进行一些身份认证的操作。(不然下载的时候会403401之类的问题)的文件夹下(C\Users\Administrator.kaggle)。4.点击后会在电脑的自动下载一个。的我文件,把这个文件放到。后面的链接,自动会复制。...原创 2022-07-20 01:50:51 · 396 阅读 · 0 评论 -
基于torchvision对模型最后几层进行微调,用于训练自己的数据
基于torchvision对模型最后几层进行微调,用于训练自己的数据原创 2022-07-20 01:38:52 · 1093 阅读 · 0 评论 -
标签平滑(LabelSmoothing)介绍与代码实现
标签平滑(),像L1、L2和dropout一样,是机器学习领域的一种正则化方法,通常用于分类问题,目的是防止模型在训练时过于自信地预测标签,改善泛化能力差的问题。原创 2022-07-20 01:07:13 · 1844 阅读 · 0 评论 -
Pytorch训练模型固定随机种子(seed),保证精度可复现
Pytorch训练模型固定随机种子(seed),保证精度可复现原创 2022-07-20 01:01:54 · 2364 阅读 · 0 评论 -
Kaggle文件下载(权重、推理文件...)
Kaggle文件下载(权重、推理文件...)原创 2022-07-15 20:36:41 · 501 阅读 · 0 评论 -
2020人工智能应用挑战赛天气状况分类决赛单模【0.838】个人赛第三
2020人工智能应用挑战赛天气状况分类决赛单模【0.838】个人赛第三原创 2022-07-13 17:30:30 · 188 阅读 · 0 评论 -
为你的模型(ResNet)引入注意力CBAM:Convolutional Block Attention Model
为你的任何模型引入CBAM,帮助改善模型,提升分数原创 2022-07-13 17:20:13 · 2184 阅读 · 4 评论 -
【数据竞赛】Kaggle知识点:比赛类型介绍
在平台上,经常有好多个比赛可供选择。如下图所示,为正在进行比赛的截图。那么对于入门同学(从没参加过一次比赛)如何选择一场适合的比赛呢?本文将对平台上的比赛按照类型进行划分,并对每种类型的比赛进行介绍。总有一个比赛适合你,文末还给出了快速上手比赛的指南。在平台上比赛按照维度划分为:按照比赛的形式:比赛可以划分为、、和四类。其中是难度最低的比赛,非常适合入门学习,比如TItanic和House Prices。类型的比赛难度稍微高一点,但难度也不会太高,适合针对特定问题进行深度学习。比如Dogs vs. Cats原创 2022-07-13 17:12:04 · 2762 阅读 · 0 评论