- 博客(12)
- 收藏
- 关注
RSS订阅原创 平衡 L1损失(Balanced L1 Loss)
平衡上述损失的一个常用方法就是调整两个任务损失的权重，然而，回归目标是没有边界的，直接增加检测框回归损失的权重将使得模型对outliers更加敏感，这些hard samples产生过大的梯度，不利于训练。inliers相比outliers对整体的梯度贡献度较低，相比hard sample，平均每个easy sample对梯度的贡献为hard sample的30%，基于上述分析，提出了balanced L1 Loss(Lb)。α，γ从样本和任务层面控制平衡，通过调整这两个参数，从而达到更加平衡的训练。
2023-09-11 16:25:20
535
原创 IEEE latex 版权声明换行、重叠问题
提交IEEE latex版本论文时，需要按照官方要求，在第一页加上版权声明："Copyright © 20xx IEEE. Personal use of this material is permitted. However, permission to use this material for any other purposes must be obtained from the IEEE by sending an email to。采用minipage的形式进行出来。按照下面格式进行处理。
2023-08-28 14:47:49
2677
4
原创 log_softmax与softmax的区别
但是Softmax会存在上溢出和下溢出的情况，这是因为Softmax会进行指数操作，当上一层的输出，也就是Softmax的输入比较大的时候，可能会产生上溢出，超出float的能表示范围；同理，当输入为负值且绝对值比较大的时候，分子分母会极小，接近0，从而导致下溢出。Softmax是指数标准化函数，又称为归一化指数函数，将多个神经元的输出，映射到 (0,1) 范围内，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。，在加快运算速度的同时，保证数据的稳定性。
2023-08-24 01:09:32
1303
1
原创 KL散度与交叉熵
相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。在机器学习中，P往往用来表示样本的真实分布，Q用来表示模型所预测的分布，那么KL散度就可以计算两个分布的差异，也就是Loss损失值。从KL散度公式中可以看到Q的分布越接近P（Q分布越拟合P），那么散度值越小，即损失值越小。因为对数函数是凸函数，所以KL散度的值为非负数。KL散度不是对称的；
2023-08-24 01:08:03
114
1
原创 leetcode---70.爬楼梯
每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢？需要 n 阶你才能到达楼顶。**注意：**给定 n 是一个正整数。时，考虑动态规划，建立一个。时，只有一种方法，当。
2023-08-21 19:47:54
42
1
原创 cuMemFreeHost failed: an illegal memory access was encountered
初始版本的max_workspace_size设置为 1<<30 ，也就是给出模型中任一层能使用的内存上限为 1GB，增加为2GB后，可以正常完成推理。
2023-08-16 11:01:30
433
1
原创 显卡显存充足，但是报错：CUDA error: out of memory
显卡显存充足，但是报错：CUDA error: out of memory
2023-08-15 20:40:38
4428
2
原创 解决安装tensorflow出现：”ImportError: DLL load failed: 动态链接库(DLL)初始化例程失败“
安装tensorflow，CPU版本，安装后，import tensorflow as tf 时出现了“ImportError: DLL load failed: 动态链接库(DLL)初始化例程失败”这种错误，根本原因是新版本的tensorflow对于比较老的处理器不再支持。解决办法：pip install --ignore-installed --upgrade tensorflow=...
2019-04-11 20:51:03
4112
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人