Tricks in ReID

本文探讨了行人重识别(ReID)领域的多种技术,包括学习率变化策略(如warm up)、Cutout和Random Erasing等数据增强方法、Label Smoothing正则化技术、Last Stride以及BNNeck的设计,旨在提高模型的鲁棒性和性能。作者指出,尽管ReID模型在准确性上有所进步,但遮挡和不可见光等问题仍阻碍其在实际应用中的普及。
摘要由CSDN通过智能技术生成

看到一个很有情怀的工作~
https://zhuanlan.zhihu.com/p/61831669
ZJU博士生罗浩在旷视video team发表的《Bag of Tricks and A Strong Baseline for Deep Person Re-identification》知乎专栏最后
“最后说一点个人的看法,ReID这两年发展这么快,但是比起人脸技术而言,落地的应用少了太多。其实并不是ReID的模型不够好,不是数据集上准确度不够高,而是比起人脸任务,ReID的场景更加复杂,有一些本质的问题没有解决。最简单最迫切的,遮挡问题和不可见光的问题。遮挡问题可以使得几乎现有所有的ReID模型失效,而结构光的人脸识别准确度也还不错。但是基于不可见光的ReID,那只能说是惨不忍睹。业界的数据资源开源不出来,学界的拿不到数据就做不了研究,这也是目前学界和业界研究有点脱离的一个因素。我个人呼吁有志于入坑ReID研究的人,不妨多从实际落地的角度思考,到底哪些是阻碍ReID应用的问题。针对这些硬核问题,去做有挑战的研究。Market1501差哪几个百分点真的不是特别重要。”

Tricks in ReID

学习率变化策略(Warm up)

img

lr ⁡ ( t ) = { 3.5 × 1 0 − 5 × t 10  if  t ≤ 10 3.5 × 1 0 − 4 if  10 < t ≤ 40 3.5 × 1 0 − 5 if  40 < t ≤ 70 3.5 × 1 0 − 6 if  70 < t ≤ 120 \operatorname{lr}(t)=\left\{\begin{array}{ll}3.5 \times 10^{-5} \times \frac{t}{10} & \text { if } t \leq 10 \\ 3.5 \times 10^{-4} & \text {if } 10<t \leq 40 \\ 3.5 \times 10^{-5} & \text {if } 40<t \leq 70 \\ 3.5 \times 10^{-6} & \text {if } 70<t \leq 120\end{array}\right. lr(t)=3.5×105

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习tricks是指在深度学习模型训练过程中使用的一些技巧和策略,旨在提高模型的性能和训练效果。以下是一些常用的深度学习tricks: 1. 数据增强(Data Augmentation):通过对原始数据进行随机变换和扩充,生成更多的训练样本,以增加模型的泛化能力。 2. 批归一化(Batch Normalization):在每个小批量数据上进行归一化操作,有助于加速模型的收敛速度,提高模型的稳定性和泛化能力。 3. 学习率调整(Learning Rate Schedule):根据训练的进程动态地调整学习率,例如使用学习率衰减或者学习率预热等策略,以提高模型的收敛性能。 4. 正则化(Regularization):通过添加正则化项,如L1正则化或L2正则化,限制模型的复杂度,防止过拟合。 5. 提前停止(Early Stopping):在训练过程中监控验证集上的性能指标,当性能不再提升时停止训练,以避免过拟合。 6. 参数初始化(Parameter Initialization):合适的参数初始化可以帮助模型更快地收敛和更好地泛化,常用的初始化方法包括Xavier初始化和He初始化等。 7. 梯度裁剪(Gradient Clipping):限制梯度的范围,防止梯度爆炸或梯度消失问题,提高模型的稳定性。 8. 集成学习(Ensemble Learning):通过结合多个模型的预测结果,可以提高模型的泛化能力和鲁棒性。 9. 迁移学习(Transfer Learning):利用已经训练好的模型在新任务上进行微调,可以加快模型的训练速度和提高模型的性能。 10. 深度网络结构设计:合理设计网络结构,包括层数、宽度、卷积核大小等,可以提高模型的表达能力和学习能力。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值