深度学习刷SOTA有哪些trick？

最新推荐文章于 2024-01-26 22:39:57 发布
最新推荐文章于 2024-01-26 22:39:57 发布
阅读量151 收藏 1
点赞数
文章标签： 机器学习 深度学习 人工智能 神经网络 python
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247511468&idx=1&sn=bc1aec0189af858b690d0f30cdb5845c&chksm=eb53b93fdc2430294e46fa8f80a3abf2ee453a959214211c4500bb017f0ab469a5579e65f97e&scene=126&&sessionid=0
版权

每天给你送来NLP技术干货！

7037489936e8745fb59feb8ef21decd4.png

作者：Gordon Lee （转载请联系作者）
链接：https://www.zhihu.com/people/gordon-lee

1. R-Drop：两次前向+KL loss约束

2. Post Training: 在领域语料上用mlm进一步预训练

3. EFL: 少样本下，把分类问题转为匹配问题，把输入构造为NSP任务形式.

4. 混合精度fp16: 加快训练速度，提高训练精度

5. 多卡ddp训练的时候，用到梯度累积时，可以使用no_sync减少不必要的梯度同步，加快速度

6. 对于验证集或者测试集特别大的情况，可以尝试多卡inference，需要用的就是dist.all_gather，对于非张量的话也可以用all_gather_object

7. PET: 少样本下，把分类转为mask位置预测，并构造verbalizer，参考EACL2021. PET

8. ArcFaceLoss：双塔句子匹配的loss把NT-Xent loss改成arccos的形式，参考ACL2022. ArcCSE

9. 数据增强在zero shot x-lingual transfer：code switch，machine translation..记得最后加一致性loss，参考consistency regularization for cross lingual finetuning

10. SimCSE：继续在领域语料上做simcse的预训练

11. Focal loss: 不平衡的处理

12. 双塔迟交互：maxsim操作：query和doc的每个token表征算相似度，取最大相似度再求和。速度和精度都有一个很好的平衡，参考colbert

13. 持续学习减轻遗忘：EWC方法+一个很强的预训练模型效果很不错。就是加一个正则让重要参数遗忘不太多，重要性用fisher信息度量。

14. 对抗训练：FGM，PGD，能提点，就是训练慢，

15. memory bank增大bsz，虽然我感觉有时候有点鸡肋

📝论文解读投稿，让你的文章被更多不同背景、不同方向的人看到，不被石沉大海，或许还能增加不少引用的呦~ 投稿加下面微信备注“投稿”即可。

最近文章

EMNLP 2022 和 COLING 2022，投哪个会议比较好？

一种全新易用的基于Word-Word关系的NER统一模型

阿里+北大 | 在梯度上做简单mask竟有如此的神奇效果

ACL'22 | 快手+中科院提出一种数据增强方法：Text Smoothing

下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！  后台回复【五件套】
下载二：南大模式识别PPT  后台回复【南大模式识别】

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

36d3f854a8e801cf31e1b2890187554b.png

记得备注呦

整理不易，还望给个在看！
zenRRan
关注
【CNN】刷SOTA的trick
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
08-09 154
深度学习刷SOTA的一堆trick
基于深度学习的小样本分类识别方案总结
herosunly的博客
01-17 7万+
1. 方案一 1.1 算法方案解析 1.1.1 赛题理解 1.1.2 模型选择：尽量使用与数据匹配的SOTA模型 1.1.3 TIM模型介绍 1.1.4 TIM模型-训练 1.1.5 TIM模型-推理 1.1.6 改进思路考虑 1.1.7 基于预训练模型的小样本分类 1.2 下阶段优化思路 2. 方案二 2.1 算法方案解析 2.1.1 赛题理解 2.1.2 数据分析 2.1.3 算法思路 2.1.4 数据预处理 2.1.5 损失函数 2.1.6 其他Tricks 2.2 总结 2.3 展望 3. 方案三
【深度学习】深度学习刷SOTA的一堆trick
fengdu78的博客
07-28 520
一般通用的trick都被写进论文和代码库里了，像优秀的优化器，学习率调度方法，数据增强，dropout，初始化，BN，LN，确实是调参大师的宝贵经验，大家平常用的也很多。这里主要有几个，我们分成三部分，稳定有用型trick，场景受限型trick，性能加速型trick。稳定有用型trick0.模型融合懂得都懂，打比赛必备，做文章没卵用的人人皆知trick，早年模型小的时候还...
深度学习刷 SOTA 有哪些 trick？
qq_39967751的博客
02-13 1267
因此这一方法一般只能放在残差结构中，将网络输出中的一部分样本直接抛弃，再与 shortcut 相加，从而实现部分样本 “跳过” 这一残差结构的效果。Cosine 学习率衰减，在近期的图像分类任务中是最主流的学习率衰减方法。虽然现在的优化器，如 Adam 拥有参数自适应学习率的能力，但通过衰减学习率限制优化器的优化步幅往往仍然是必要的。这是一种组合数据增强手段，相比传统数据增强的随机裁剪、随机翻转，这种方法设置了一个包含各种数据增强变换的集合，并对每个样本随机应用其中若干个增强，大大扩展了增强后的图像空间。
深度学习中SOTA的trick盘点
02-15 348
深度学习中SOTA的trick盘点
深度学习有哪些trick？
3D视觉工坊
07-05 876
作者丨DOTA、永无止境、冯迁来源丨知乎问答编辑丨极市平台导读Deep learning在训练的时候往往有很多trick，不可否认这些trick也是DL成功的关键因素之一，所谓“the ...
深度学习全功能开发开源平台汇总
qq_33270279的博客
09-01 1940
深度学习全功能开发平台 1. 微软 computervision-recipes平台 基本情况 框架：PyTorch 简介地址： https://mp.weixin.qq.com/s/InFCT7CCGmHDly-IQcOqnA 开源地址： https://github.com/microsoft/computervision-recipes 计算机视觉方向包括 图像分类、图像相似度计算、目标检测、物体及人体关键点检测、图像分割、动作识别、目标跟踪、拥挤人群计数等计算机视觉热门方向 Scenar
深度学习简明教程系列 —— 经典模型（合集）
编程之路
09-11 6273
本教程是深度学习简明教程系列的第二部分，旨在提取最精炼且必备的深度学习知识点，供读者快速学习及本人查阅复习所用，大多内容是本人结合个人理解补充细节整合而成，参考链接放在文章最后。 第一章AlexNet 1.1 结构与参数 AlexNet的网络结构如下图所示： AlexNet网络结构图 网络参数如下： 卷积层：5层 全连接层：3层 深度：8层 参数个数：60M 神经元个数：650k 分类数目：1000类 1.2 网络细节 1.2.1 分组卷积 由于当时的显卡容量问题...
深度学习图像处理目标检测图像分割计算机视觉 12--图像描述（图说）
guoxinxin0605的博客
03-27 4861
深度学习图像处理目标检测图像分割计算机视觉 12--图像描述（图说）摘要一、图像描述（图说）1.1 RNN2.2 LSTM原理2.3 图说模型Image Captioning2.4 NIC模型二、U-Net: Convolutional Networks for Biomedical Image Segmentation（U-Net：用于生物医学影像分割的卷积网络）2.1 摘要2.2 简介2.3 网络结构2.4 结论三、U-Net 摘要 本周主要学习图像描述，即为图片生成描述语言，输入某一张图片，输出的是一
深度学习中的trick
u013102349的博客
03-01 1万+
下面浅谈深度学习中的技巧。学习率（learning rate）学习率的设置应该随着迭代次数的增加而减小，每迭代完指定次epoch也就是对整个数据过一遍，然后对学习率进行变化，这样能够保证每个样本得到公平的对待。卷积神经网络CNN中的技巧CNN中将一个大尺寸的卷积核分解成多层的小尺寸的卷积核或者分解成多层的一维卷积，这样能够减少参数并增加非线性。CNN中的网络设计应该逐渐减少图像尺寸，同时增加通道数...
深度学习之常见tricks
Leo的博客
01-07 4305
本文主要给出了在实现网络或者调节代码过程使用的以及平时看一些文章记录下来的一些小技巧，主要针对卷积网络和图像处理。就个人感受，有些技巧还是非常有效的，而且通常可以通过看开源库的一些文档或者源代码来发掘这些内容，最后能够称为自己所用。 1.构造validation set 一般数据集可能不会给出验证集，所以自己会从给的训练集中按照一定比例（9：1）分离出验证集。 2.增加训练数据 为了更好的
深度学习---SOTA
qq_42178122的博客
07-08 1557
SOTA也就是state-of-the-art，翻译为体现最高水平的。 若某篇论文能够称为SOTA，就表明其提出的算法（模型）的性能在当前是第一名。 参考链接:https://blog.csdn.net/haha0825/article/details/103349130/
【深度视觉】第十章：复现SOTA 模型：ResNet
最新发布
因为热爱所以坚持
01-26 1242
十二、复现SOTA 模型：ResNet 大名鼎鼎的残差网络ResNet是深度学习中的一个里程碑式的模型，也深度学习中的一个重要概念，几乎各类视觉任务中都能见到它的身影。 不同于前面的经典模型，resnet一个深层网络，它是由来自Microsoft Research的4位学者何凯明、张翔宇、任少卿、孙剑共同提出的，论文是《Deep Residual Learning for Image Recognition》。 前面我们一直说深层网络的效果比浅层好。这也是业界的一个共识，所以大家都在试图加深网络。但是
深度学习重要思想及sota模型总结
weixin_43509698的博客
04-30 540
1.半监督学习 Self-training with Noisy Student improves ImageNet classification 代码：https://github.com/ChanLIM/noisystudent_pytorch Meta Pseudo Labels 代码：https://github.com/kekmodel/MPL-pytorch
深度学习常见名词概念：Sota、Benchmark、Baseline、端到端模型、迁移学习等的定义
热门推荐
Hanze的博客
11-15 7万+
深度学习：Sota的定义 sota实际上就是State of the arts 的缩写，指的是在某一个领域做的Performance最好的model，一般就是指在一些benchmark的数据集上跑分非常高的那些模型。
深度学习刷SOTA的一堆trick
AI浩
07-27 525
懂得都懂，打比赛必备，做文章没卵用的人人皆知trick，早年模型小的时候还用stacking，直接概率融合效果也不错。
深度学习名词理解
我的博客
10-12 421
validation loss ： validation loss Really a fundamental question in machine learning. If validation loss >> training loss you can call it overfitting. If validation loss > training loss you can call it some overfitting. If validation loss &lt.
baseline, benchmark, sota, backbone
Larkii 的博客
01-13 447
SRC
SSD：深度学习中的实时目标检测技术
在深度学习领域，特别是目标检测任务中，SSD（Single Shot MultiBox Detector）是一种高效且精确的算法，由M. Scott Osborne提出的模型分析进一步探讨了其在行人重识别中的应用。SSD的主要贡献在于它摒弃了传统检测...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值