LSTR 效果复现踩坑

论文链接:https://arxiv.org/pdf/2011.04233.pdf
论文出处:WACV2020
论文代码:https://github.com/liuruijin17/LSTR
研发团队:西安交通大学人工智能与机器人研究所

过程踩坑:

  1. 基于tusimple 数据集从零训练训练,过程中出现 loss 下降至一个局部最优解,此时loss 在15 附近,无法继续收敛下降 。
    原因分析: 使用的Adam 优化器,batch_size=8, lr 从1 ,开始,想法是开始用大学习率让loss 快速下降,缩短训练时间, 学习率衰减0.1, 0.01, 0.001, 0.0001 , 当较大学习率训练震荡时,而且没有充分训练,在同一个学习率下没有达到epoch 就简单认为震荡直接调到1/10 的学习率,很可能直接收敛到很差的局部最小值点,而后面的学习因为学习率已经被降低,就再也跳不出去了。。。

在使用adam 优化器时,最好从默认 lr = 0.001 开始,同级学习率下训练要充分epoch合适,batchsize_size 调至16,loss跳出坑,复现达到论文的效果。

使用Adam优化器可以设置很高的学习率吗?

2.训练过程中测试与 训练完成后测试的可视化效果差别非常大

3.不同远近端加权loss 方式对训练和结果的影响
由于LSTR 是基于原图(透视图)对车道线进行检测拟合, 本质是最小二乘法, 因为近多远少(标注是平均标注)导致车道线的检测近端拟合效果要好于远端, 远端(尤其是弯道)拟合并不好,偏差比较大。想通过对远近端不同位置的loss 进行加权来调节增强对远端的拟合能力
a.简单除暴 递增式 【1,2,3,4,5…56】
b. 【1,2,3,4,5…56】/56
c.【1,2,3,4,5…56】/(56**0.5)
d. (1,2,3,4,5…56】/56)**0.5
e.[1,1,1,1,1,1,1,…1,222222,33333,4444,555,66,7,8]**0.5
f. .[1,1,1,1,1,1,1,…1,222222,33333,4444,555,66,7,8]**0.3

理解了很多地方用 C**0.5 做调节因子的原因, 分布限制在合理范围,分布更合理。[有效实用性高]

4.非共享曲率参数与共享曲率参数的差异。

<think>好的,我现在需要了解LSTR网络架构。首先,用户可能指的是Lane Shape Prediction with Transformers(LSTR),这是一种用于车道线检测深度学习模型。让我先回想一下相关的知识。 首先,车道线检测是自动驾驶和计算机视觉中的重要任务。传统方法可能依赖手工特征,而深度学习方法则自动学习特征。Transformer架构在NLP领域很成功,后来被引入到视觉任务中,比如ViT。LSTR可能结合了Transformer来处理车道线检测。 接下来,我需要确认LSTR的结构。根据记忆,LSTR使用Transformer的编码器-解码器结构。编码器处理输入图像,解码器生成车道线的参数。可能使用CNN作为骨干网络提取特征,然后将特征转换为序列输入Transformer。不过,具体细节可能需要查阅论文或者相关资料。 另外,LSTR可能将车道线检测视为参数回归问题,而不是像素级的分类。这样可以直接输出车道线的数学表示,比如多项式曲线的参数。Transformer的自注意力机制可能帮助模型捕捉长距离依赖,这对于弯曲的车道线尤其有用。 可能的关键点包括:基于Transformer的架构、参数回归、端到端训练、处理不同数量车道线的能力。需要检查这些是否正确,有没有遗漏的部分。例如,是否使用位置编码,如何处理不同长度的车道线训练时用的损失函数等。 还有,可能LSTR与其他方法的对比,比如基于CNN的方法或者传统的图像处理技术。优势可能在于鲁棒性和对复杂场景的适应性。需要确认是否有这样的结论。 可能存在混淆的地方,比如是否使用目标检测的Anchor机制,或者是否结合了其他模块。另外,输入是单张图像还是视频序列?如果是视频,可能需要处理时序信息,但LSTR可能仅处理单帧。 需要验证这些信息是否正确,可能需要参考原始论文。如果我的记忆有误,需要及时纠正。例如,LSTR可能使用DETR类似的架构,
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值