focal loss、importance sampling、 adaptive batch normlization

最新推荐文章于 2023-02-21 16:53:28 发布
最新推荐文章于 2023-02-21 16:53:28 发布
阅读量128 收藏 1
点赞数
分类专栏： 机器深度学习 文章标签： batch 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stdleohao/article/details/120646587
版权

focal loss

Focal Loss for Dense Object Detection，ICCV 2017， RBG和Kaiming大神

  • 作者提出focal loss的出发点是：希望one-stage detector可以达到two-stage detector的准确率，同时不影响原有的速度。
  • one-stage detector的准确率不如two-stage detector的原因，作者认为原因是：样本的类别不均衡导致的。
  • 不平衡导致的后果：负样本数量太大，占总的loss的大部分，而且多是容易分类的，因此使得模型的优化方向并不是我们所希望的那样。
  • OHEM（online hard example mining）：OHEM算法虽然增加了错分类样本的权重，但是OHEM算法忽略了容易分类的样本。
  • focal loss，在标准交叉熵损失基础上修改得到的：
    a. 这个函数首先通过 α \alpha
最低0.47元/天 解锁文章
Stdleohao
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation
from top to bottom
05-04 1103
作者: Qingyu Tan∗1,2 Ruidan He†1 Lidong Bing1 Hwee Tou Ng2 单位：1DAMO Academy, Alibaba Group；2Department of Computer Science, National University of Singapore 通讯地址：{qingyu.tan,ruidan.he,l.bing}@alibaba-inc.com；{qtan6,nght}@comp.nus.edu.sg 发表会议：ACL2022 Abst
解读《Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation》论文
ac不知深的博客
05-09 1302
对于本论文我把所有内容重新排版了，加上自己更直白的话来直观介绍。 如果对于文章里的名词解释有疑惑，可以参考我这篇文章 一、工作： 首先，我们使用轴向注意模块学习实体对之间的相互依赖关系，提高了两跳关系的性能。其次，我们提出了一个自适应的局部损失来解决DocRE的类不平衡问题。最后，我们利用知识蒸馏来克服人工标注数据与远程监督数据之间的差异。 首先，为了改进两跳关系的推理，我们提出使用轴向注意模块作为特征提取器。此模块使我们能够关注两跳逻辑路径内的元素，并捕获关系三元组之间的相互依赖关系。其次，我们提出自适应
在“内卷”、“红海”的2020 年，开垦计算机视觉领域的知识荒原：BatchNorm
zandaoguang的博客
08-06 826
作者丨纵横@知乎来源丨https://zhuanlan.zhihu.com/p/1661011192020 年已经要迎来了第二学期，内卷、红海、赛马似乎仍是 CV 领域的主旋律。不考虑 ...
NLP论文中出现的名词解释（不断更新）
ac不知深的博客
04-28 2708
目录前言Distantly supervised （远程监督）Axial Attention（轴向注意力）Focal Loss（局部损失函数）Knowledge Distillation（知识蒸馏）soft labels（软标签）hard labels（硬标签）distant labels（远距离标签）positive sample（正样本）negative sample（负样本） 前言 因为每次看论文遇到新的名词查了很久，好不容易找到/总结出其意思 过了很久记不清，或者笔记本找不到 于是就想着写在这里当做
关于BatchNorm,我们需要了解什么（一）
wentinghappyday的博客
02-21 1387
BN存在的问题以及在必须使用BN的时候，我们应该怎么进行参数调节？针对这个问题，主要通过论文《rethinking BN》这篇以实验为主导的论文讨论来进行。
adaptive importance sampling
08-30
adaptive importance sampling
论文研究-Bayesian Maximum A Posterior DOA Estimator Based on Importance Sampling.pdf
08-19
基于重要性采样的贝叶斯DOA估计，谢达，黄建国，本文为减小贝叶斯DOA估计方法的计算量，将重要性采样与贝叶斯方法相结合，提出了基于重要性采样的贝叶斯最大后验DOA估计方法，并给
importance sampling.pdf
02-27
重要新采样，适合图形学，以及深度学习人员查看
Non-iterative implementation of Layered Adaptive Importance Sampling (LAIS)：Non-iterative implementation of Layered Adaptive Importance Sampling (LAIS)-matlab开发
05-29
分层自适应重要性采样 (LAIS) 的非迭代实现（见下文参考） - L....见链接http://www.mathworks.com/matlabcentral/fileexchange/58368-parallel-interacting-markov-adaptive-importance-sampling--pi-mais--algorithm
(SIGGRAPH 04)Fast Hierarchical Importance Sampling with Blue Noise Properties的源码
11-14
1. **重要性采样（Importance Sampling）**： 在计算机图形学中，重要性采样是一种优化光线追踪的技术。它不是均匀地采样空间，而是根据场景中的光照和材质属性进行非均匀采样，以提高渲染效率。通过选择那些对最终...
深度学习-各种归一化(Batch Norm、Layer Norm、Group Norm、InstanceNorm、Spatially-Adaptive Norm）
ssshyeong的博客
03-30 7074
数据的归一化操作是数据处理的一项基础性工作，本文主要介绍了现有的四种归一化方法，包括Batch Normalization、Layer Normalization、Group Normalization、InstanceNorm以及近期在图像翻译领域遇到的Spatially-Adaptive Normalization
【论文学习】Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation
weixin_50833696的博客
02-19 748
Document-level Relation Extraction(DocRE) 相比句级关系提取来说更麻烦。它需要一次从多个句子中提取关系。这篇论文提出了一种半监督框架，并且有三个新颖点。第一，使用了一个轴向注意力模块来学习实体对的相关性；第二，提出了一个适应性焦距损失来解决DocRE的类不平衡问题；第三，使用知识蒸馏来克服人类标注数据与远程监督数据的差异性。（轴向注意力就是先在竖直方向进行self-attention，然后再在水平方向进行self-attention；
AdaBN(Adaptive Batch Normalization)使用
猫猫与橙子的博客
06-30 8380
最近在查看论文《Towards Flops-constrained Face Recognition》时，发现作者使用了AdaBN的技巧，我很好奇AdaBN是什么操作，为甚么没有看见相应的博文介绍，下面是我自己整理的资料。 论文链接： 原文中的算法： 通俗理解： 把model设成训练模式，然后是做前向计算，不做反向更新，相当于只更新global mean和global variance； 将所有测试样本跑一遍，得到的最终的BN层的参数用于test测试样本； 注意：有人建议做迁移时，要将gl.
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
热门推荐
I am what i am
07-13 12万+
本篇博客总结几种归一化办法，并给出相应计算公式和代码。 1、综述 1.1 论文链接 1、Batch Normalization https://arxiv.org/pdf/1502.03167.pdf 2、Layer Normalizaiton https://arxiv.org/pdf/1607.06450v1.pdf 3、Instance Normalization h...
Batch Renormalization
baidu_32173921的博客
03-23 6170
BatchRenormalization 本文系batch norm原作者对其的优化，该方法保证了train和inference阶段的等效性，解决了非独立同分布和小minibatch的问题。其实现如下： 其中r和d首先通过minibatch计算出，但stop_gradient使得反传中r和d不被更新，因此r和d不被当做训练参数对待。试想如果r和d作为参数来更新，如下
深度学习笔记-8.Focal Loss理解
12-14 2597
目录 1. Introduction 2. Focal Loss 3. Conclusion 4. 实际使用中的代码 1. Introduction object detection按其流程来说，一般分为两大类。一类是two stage detector(如非常经典的Faster R-CNN)，另一类则是one stage detector(如SSD、YOLO系列)。...
Focal Loss阅读笔记
小白的博客
05-26 3108
Focal Loss阅读笔记 论文链接: https://arxiv.org/abs/1708.02002 非官方pytorch实现:https://github.com/kuangliu/pytorch-retinanet 文章中个人观点由下划线标记 Focal Loss阅读笔记 一句话总结 概述 结果 论文细节 网络结构与anchor设定 正负样本分类 分类分支网络结构与损失函数 ...
Focal Loss理解
weixin_30586257的博客
08-18 2107
1. 总述 Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。 2. 损失函数形式 Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失： 是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对...
几种normalization
clearsky767的专栏
10-26 519
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结 https://blog.csdn.net/liuxiao214/article/details/81037416?utm_source=blogxgwz0   深度学习中的Normalization模型 https://blog.cs...
importance sampling生成样本
最新发布
07-14
重要性抽样（importance sampling）是一种用于生成样本的技术。它在统计学中常用于估计难以直接抽样的分布的性质。重要性抽样通过从一个已知的分布中抽取样本，然后根据另一个目标分布的权重进行加权，生成符合目标...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值