Reinforement Learning学习记录（五）

前言

最近两周的工作主要是在做方向的探索和相关论文的学习，这次的介绍会分为，项目介绍，论文学习，当前进度，未来计划

项目介绍

最近主要是尝试了两个大类的项目，第一个是视觉追踪，第二个是三维重建

视觉跟踪

视觉追踪的话，参考了这几个开源项目：

CoTracker: It is Better to Track Together (co-tracker.github.io)
VGGSfM: Visual Geometry Grounded Deep Structure From Motion
DINO-Tracker: Taming DINO for Self-Supervised Point Tracking in a Single Video

这里以Cotracker举例，大概的原理就是

输入：

1. 视频图像序列
2. 初始点位置和时间

处理：

1. 图像特征提取以及处理
2. 利用注意力机制实现跟踪
3. 加入伪信息提高效率

输出：

1. 带有轨迹信息的点坐标

应用原因

1. 通过利用轨迹追踪模型可以实现机器人和运动物体的交互，例如跟随
2. 如果能够得到不断运动的物体的信息，就可以规避动态的障碍物
3. 如果能够预测未来物体的坐标信息，就能够更好的进行路径规划

核心代码

其中，pred_tracks就是预测出来的二维点，到时候可以利用三维重建出坐标点，只要将这个三维点加入RL中的奖励函数，就能够实现具体的任务目标

 if args.checkpoint is not None:
        model = CoTrackerPredictor(checkpoint=args.checkpoint)
    else:
        model = torch.hub.load("facebookresearch/co-tracker", "cotracker2")
    model = model.to(DEFAULT_DEVICE)
    video = video.to(DEFAULT_DEVICE)
    pred_tracks, pred_visibility = model(
        video,
        grid_size=args.grid_size,
        grid_query_frame=args.grid_query_frame,
        backward_tracking