WhiffeYF的博客

ucf_dla34_K7_rgb_coco.pth pretrained model on ucf24

课堂是学校教育的核心，课堂教学过程评价对于教学质量的提高有重要意义，而学生的课堂行为表现是课堂教学评价的重要成分。通过评价学生的课堂行为，形成有效的反馈信息和教学导向，可以有效的促进课堂教学和学生的发展。因此，利用现在的计算机视觉技术和教学过程的相关测量手段相结合，对教室中的学生学习行为进行测量，形成对学生、对课堂的多维度的客观评价和反馈，对于提高课堂内的教学效率和教学质量有着重要的意义。本文在课堂学习场景下，研究了基于体感信息的学习者动作识别的算法以及相关应用系统的设计和实现。 论文的主要贡献是设计并实现了课堂学习场景下基于体感信息的多学习者行为测量系统:针对的Kinect骨骼数据特点，本文提出了基于人体上肢骨骼结构的姿态识别方法，该方法通过选用结构向量间的向量角和向量模比值作为最终的姿态向量特征，采用SVM分类器对姿态向量特征进行分类和识别；实现了一个集数据采集、识别、记录、分析和展示于一体的课堂行为识别系统，对课堂交互活动行为分析和课堂整体活跃态势进行了分析，并使用该系统进行了针对学习者个人评价和针对课堂活跃度评价的实验。 通过测试结果表明，本文提出的姿态识别方法能有效地识别多个学习者的举手、正坐和低头等姿态，该课堂行为识别系统具有一定的实用性；通过模拟课堂实验得出对于学生个人的参与度评价、每道题的难度评价、整个课堂活跃度的评价的实验性结论，对于课堂教学过程评价具有一定的参考意义。

行为检测在自动驾驶、视频监控等领域的广阔应用前景使其成为了视频分析的研究热点。近年来，基于深度学习的方法在行为检测领域取得了巨大的进展，引起了国内外研究者的关注，对这些方法进行了全面的梳理和总结，介绍了行为检测任务的详细定义和面临的主要挑战; 从时序行为检测和时空行为检测 2 个方面对相关文献做了细致地分类，综合分析了每一类别中不同研究方法的思路和优缺点，并阐述了基于弱监督学习、图卷积神经网络、注意力机制等新兴研究话题的相关方法; 介绍了行为检测领域常用的数据集以及性能评估指标，在这些数据集上比较了几种典型方法的性能; 总结了当前行为检测方法需要解决的问题以及进一步发展的研究方向。

基于学习的方法 机器学习方法已被证明对广泛的感知问题有效[32-36], 允许感知系统学习从一些特征集到各种视觉特性的映射[37]. 研究人员更是将深度学习引入抓取检测中,将学习方法应用于视觉中,引入学习方法对抓取质量进行评分[38]. 近期的文献采用了更丰富的特征和学习方法,允许机器人抓取部分被遮挡的已知物体[39] 或已知物体未知姿态[40] 以及系统之前未见过的全新物体(未知物体)[41],本文将讨论后一种情况. 早期的工作集中在仅从2D部分视图数据中检测单个抓取点,使用启发式方法基于此点确定机械手姿态[41]. 由于只有二维信息,第三维度的距离必须是固定的,抓取具有局限性,而3D数据的

我们提出一种准确而且可以达到实时性能要求基于卷积神经网络的，机器人抓取检测方法。我们的抓取方法没有使用常见的滑动窗口或者区域选择技术，我们的网络只是使用single-stage回归去找到可抓取的包围检测框。模型的表现性能比当前最先进的方法也要高出十四个百分点（我想这里应该说的是准确率）。同时可以在单张GPU上能达到每秒十三帧图像的性能。我们的网络可以在对物体进行分类的同时，也可以做到找出可抓取部位的检测矩形框。在这个模型上我们也做了一些修改，使它可以对单个物体上预测多个抓取部位，实现的方法是基于一个局部受限预测机制，基于该机制的模型表现更好，尤其是物体有多个抓取方式的时候。

在果蔬生产过程中，采摘环节是最耗时和耗力的环节，人工采摘的成本约占整个生产成本的 50%～70%。开展采摘机器人研究，不仅有利于解决人口老龄化和社会城镇化导致的劳动力日益短缺问题，还能促进我国农业科技进步，加速实现农业现代化。由于果蔬组织柔软、易损伤且生长程度不一，相互差异较大，导致采摘的损伤率较高。因此开展末端执行器抓取规划和控制策略的研究对实现采摘机器人的无损采摘具有重要意义，本文从采摘机器人末端执行器稳定抓取规划以及抓取力主动柔顺控制两个角度出发对采摘机器人无损抓取技术进行研究，主要研究内容如下： (2) 以力封闭作为理论基础，分析了两指稳定抓取条件，制定了两指稳定抓取策略。同时根据三

本课题立足机械手自主抓取，研究利用卷积神经网络实现物体表面抓取点生成的解决方案。本课题以场景的深度图像作为输入信息，采取 “先采样，后预测”的两步走抓取生成方案。首先利用 Laplace 方法在深度图像中提取物体边缘像素点，并利用对跖法生成抓取空间；然后基于重要性采样方法从抓取空间中采样获得候选抓取集，最后利用训练好的抓取预测卷积神经网络模型预测候选集每个抓取的成功置信度，取其中极大者作为结果指导机器人完成抓取。 为将卷积神经网络应用于抓取预测，本课题建立了基于卷积神经网络的抓取预测模型。将抓取预测问题抽象为深度学习中的分类问题，网络输出为某抓取点属于成功抓取的置信度。本课题定义一组抓取为

随着科学技术的发展，机器人在人类的生产生活中扮演着越来越重要的角色。移动 机械臂是指以移动机器人为平台，在平台上安装机械臂的设备。移动机械臂不仅具有移机器人的环境感知和自主导航功能，还具有机械臂灵活的操作能力，被广泛的应用于工业生产、智能服务、太空工作及侦查排爆等领域。本文以移动机械臂的侦察排爆为背景，围绕移动机械臂的目标抓取任务，重点研究室内环境中移动机械臂的建图与导航、目标检测与抓取等关键技术。本文的主要工作包括以下几个方面： （1） 在Turtlebot2移动机器人平台上搭建PhantomX_ARM机械臂构成移动机械臂，并搭建 RPLIDAR A2 激光雷达传感器与 Xt

智能机器人是指能够自主完成特定任务的机器人，而对环境感知和运动规 划的研究则有助于提高机器人的自主性，使其更加智能化。环境感知主要是通 过各类视觉传感器采集点云或图像数据，并由计算机进行分析处理后，使机器 人系统能够获得环境中物体的各类信息。运动规划则是在环境感知的基础上， 通过规划出一条无碰轨迹来实现机器人的运动控制。 本文首先介绍各类传感器的标定方法，用以实现不同数据在坐标系下的统 一。在分析现有标定算法的基础上，利用 Navy 手眼标定法优化计算最小二乘 解，从而使标定精度达到毫米级；而基于两步法的单线激光传感器标定方法则 是在保证精度足够的前提下，有效地减少了计算量，从而提高了算法效

自动搬运是现代物流仓库实现自动化、智能化的基础。自主移动机器人 相对于传送带与传统ＡＧＶ，面对未知环境有探索和决策能力，具有柔性强、 可重构环境的优点。本文对自主移动机器人同时定位与地图构建、路径规 划方法进行了深入研巧，主要内容如下： 首先，同时定位与地图构建方法研究。建立了本研究的系统模型Ｗ及 同时定位与建图的数学模型，分析其关键问题。然后，分别对郎Ｆ－ＳＬＡＭ和 ＦＡＳＴ－ＳＬＡＭ算法进行原理分析和仿真分析。仿真实验表明；两种算法均可Ｗ 取得较好仿真效果，但ＦＡＳＴ－ＳＬＡＭ算法的追踪误差较小、更适应实际环境。 其次，提出了蜘蛛群居算法的改进策略。为了提高

随着科技的飞速发展,机器人应用变得越加广泛。如今,在线示教和离线编程是工业生产线中控制机器人常见的控制方式,但是由于受到抓取目标物体的初始位姿和最终位姿被严格限定的问题,只能依靠机械完成机器人点到点的操纵,全程所用时间长、操作效率低以及定位准确度也低,因此,机器人在智能化程度上有一定程度的欠缺。在此问题的基础上,本课题提出一套基于ROS（机器人操作系统）视觉定位的机械臂智能抓取系统,使抓取目标的初始位姿和最终位姿被严格限定的问题得到解决。首先,采用张正友算法标定RGB-D相机,获取其内外参数;其次,采用棋盘格与AR标签两种方法,实现手眼标定;然后,通过多模态信息进行物体的识别与位姿估计;最终,

我们在现实生活中能看到大量的照片。在计算机中，一张照片由很多个像素组成，每 个像素记录了色彩或亮度的信息。三维世界中的一个物体反射或发出的光线，穿过相机光 心后，投影在相机的成像平面上。相机的感光器件接收到光线后，产生了测量值，就得到 了像素，形成了我们见到的照片。这个过程能否用数学原理来描述呢？本讲，我们首先讨 论相机模型，说明投影关系具体如何描述，相机的内参是什么。同时，简单介绍双目成像 与 RGB-D 相机的原理。然后，介绍二维照片像素的基本操作。最后，我们根据内外参数 的含义，演示一个点云拼接的实验

我们在现实生活中能看到大量的照片。在计算机中，一张照片由很多个像素组成，每 个像素记录了色彩或亮度的信息。三维世界中的一个物体反射或发出的光线，穿过相机光 心后，投影在相机的成像平面上。相机的感光器件接收到光线后，产生了测量值，就得到 了像素，形成了我们见到的照片。这个过程能否用数学原理来描述呢？本讲，我们首先讨 论相机模型，说明投影关系具体如何描述，相机的内参是什么。同时，简单介绍双目成像 与 RGB-D 相机的原理。然后，介绍二维照片像素的基本操作。最后，我们根据内外参数 的含义，演示一个点云拼接的实验

上一讲，我们介绍了三维世界中刚体运动的描述方式，包括旋转矩阵、旋转向量、欧 拉角、四元数等若干种方式。我们重点介绍了旋转的表示，但是在 SLAM 中，除了表示之 外，我们还要对它们进行估计和优化。因为在 SLAM 中位姿是未知的，而我们需要解决什 么样的相机位姿最符合当前观测数据这样的问题。一种典型的方式是把它构建成一个优化 问题，求解最优的 R; t，使得误差最小化。 如前所言，旋转矩阵自身是带有约束的（正交且行列式为 1）。它们作为优化变量时， 会引入额外的约束，使优化变得困难。通过李群——李代数间的转换关系，我们希望把位 姿估计变成无约束的优化问题，简化求解方式。由于读者可能还没有李群李代数的基本知 识，我们将从最基本的开始讲起。

上一讲，我们介绍了三维世界中刚体运动的描述方式，包括旋转矩阵、旋转向量、欧 拉角、四元数等若干种方式。我们重点介绍了旋转的表示，但是在 SLAM 中，除了表示之 外，我们还要对它们进行估计和优化。因为在 SLAM 中位姿是未知的，而我们需要解决什 么样的相机位姿最符合当前观测数据这样的问题。一种典型的方式是把它构建成一个优化 问题，求解最优的 R; t，使得误差最小化。 如前所言，旋转矩阵自身是带有约束的（正交且行列式为 1）。它们作为优化变量时， 会引入额外的约束，使优化变得困难。通过李群——李代数间的转换关系，我们希望把位 姿估计变成无约束的优化问题，简化求解方式。由于读者可能还没有李群李代数的基本知 识，我们将从最基本的开始讲起。

一个刚体在三维空间中的运动是如何描述的。我们当然知道这由一次旋转加一次 平移组成。平移确实没有太大问题，但旋转的处理是件麻烦事。我们将介绍旋转矩阵、四 元数、欧拉角的意义，以及它们是如何运算和转换的。在实践部分，我们将介绍线性代数 库 Eigen。它提供了 C++ 中的矩阵运算，并且它的 Geometry 模块还提供了四元数等刚 体运动的描述。 Eigen 的优化非常完善，但是它的使用方法有一些特殊的地方，我们会在 程序中介绍

一个刚体在三维空间中的运动是如何描述的。我们当然知道这由一次旋转加一次 平移组成。平移确实没有太大问题，但旋转的处理是件麻烦事。我们将介绍旋转矩阵、四 元数、欧拉角的意义，以及它们是如何运算和转换的。在实践部分，我们将介绍线性代数 库 Eigen。它提供了 C++ 中的矩阵运算，并且它的 Geometry 模块还提供了四元数等刚 体运动的描述。 Eigen 的优化非常完善，但是它的使用方法有一些特殊的地方，我们会在 程序中介绍

1 习题说明 • 第 i 节课习题所有材料打包在 Li.zip 中，∀i = 1 . . . 8。 • 习题分为若⼲种：计算类习题，需要读者编程计算⼀个实际问题，我们会附有参考答案以供⾃测。 操作类习题，会指导读者做⼀个具体的实验，给出中间步骤截图或结果。简述类习题则提供阅读材 料，需要读者阅读材料后，回答若⼲问题。 • 每个习题会有⼀定的分值。每次习题分值加和为 10 分。你需要获得 8 分以上才能得到“通过”的评 价。带 ∗ 的习题为附加题，会在总分之外再提供⼀定的分值，所以总和可能超过 10 分。换句话说， 你也可以选择⼀道附加题，跳过⼀道正常题。 • 每道习题的给分由助教评判，简述类习题可能存在⼀定开放性，所以评分也存在主观因素。 • 请利⽤深蓝学院系统提交习题。每次习题我们会记通过与否。提交形式为 word 或 pdf 格式报告， 如有编程习题请提交可编译的源码。 • 为⽅便读者，我通常会准备⼀些阅读材料，放在 books/或 papers/⽬录下。请读者按个⼈需求使⽤ 这些材料。它们多数是从⽹络下载的，如果侵犯到你的权利，请及时告诉我。 • 每个习题会标注⼤致⽤时，但视同学个⼈⽔平可能会有出⼊。 • 习题的完成情况会影响你对本课程内容的掌握程度，请认真、独⽴完成。习题总得分较高的同学将 获得推荐资格。

第一讲：SLAM概述与预备知识ppt 课程内容 SLAM：Simultaneous Localization and Mapping 同时定位与地图构建 SLAM的数学基础知识 SLAM相关的计算机视觉知识 工程实践 SLAM是什么 自主运动的两大基本问题 我在什么地方？——定位 周围环境是什么样子？——建图 定位与建图=内外兼修 定位侧重对自身的了解，建图侧重对外在的了解 相互关联 准确的定位需要精确的地图 精确的地图来自准确的定位

Recovering an unblurred image from a single motion-blurred picture has long been a fundamental research problem. If one assumes that the blur kernel – or point spread function (PSF) – is shift-invariant, the problem reduces to that of image deconvolution. Image deconvolution can be further categorized to the blind and non-blind cases. In non-blind deconvolution, the motion blur kernel is assumed to be known or computed elsewhere; the task is to estimate the unblurred latent image. The general problems to address in non-blind deconvolution include reducing possible unpleasing ringing artifacts that appear near strong edges, suppressing noise, and saving computation. Traditional methods such as Weiner deconvolution (Wiener 1949) and Richardson-Lucy (RL) method (Richardson 1972, Lucy 1974) were proposed decades ago and find many variants thanks to their simplicity and efficiency. Recent development involves new models with sparse regularization and proposal of effective linear and non-linear optimization to improve result quality and further reduce running time. Blind deconvolution is a much more challenging problem, since both the blur kernel and latent image are unknown. One can regard non-blind deconvolution as one inevitable step in blind deconvolution during the course of PSF estimation or after PSF has been computed. Both blind and non-blind deconvolution is practicably very useful, which is studied and employed in a variety of disciplines, including, but not limited to, image processing, computer vision, medical and astronomic imaging and digital communication. This chapter discusses shift-invariant single image motion deblurring methods, which assume that the image is uniformly blurred with only one PSF, which may not be known in prior. This set of problems have a long history in theoretical and empirical research and are notably advanced in recent 5-10 years with a few remarkably effective models and solvers.

【读论文】Rethinking the Role of Demonstrations What Makes In-Context Learning Work

【读论文】Rethinking the Role of Demonstrations What Makes In-Context Learning Work

YOLOv8 代码包

https://github.com/Whiffe/Yolov7-tracker

https://github.com/Whiffe/Yolov7-tracker

面部表情识别模型权重 https://github.com/Whiffe/PyTorch-Facial-Expression-Recognition

面部表情识别模型权重 https://github.com/Whiffe/PyTorch-Facial-Expression-Recognition

https://github.com/choyingw/SynergyNet best.pth.tar

https://github.com/choyingw/SynergyNet aflw2000_data.zip

https://github.com/choyingw/SynergyNet 3dmm_data.zip

EGE C/C++ 贪吃蛇

适用于Yolo训练和测试的coco数据集标签文件 train2017.txt和val2017.txt和train2017.zip和val2017.zip yolov7 yolov5 yolov8

yolov7 hand detection

Youtube-Hands yolov7 detection

face_dataset img 人脸识别 样例

人脸识别素材 4张图

包含配置文件： 训练日志：20220805_165139.log.json 训练配置：my_slowfast_kinetics_pretrained_r50_4x16x1_20e_ava_rgb.py 训练配置（为了测试训练集的效果）：my_slowfast_kinetics_pretrained_r50_4x16x1_20e_ava_rgb2.py

22-8-4 mmaction2 slowfast训练日志 包含配置文件：my_slowfast_kinetics_pretrained_r50_4x16x1_20e_ava_rgb.py 训练结束后使用最好的checkpoint的参数进行测试，将测试结果存储在：part_0.pkl 训练过程的记录：20220804_185539.log.json

https://pytorchvideo.org/docs/tutorial_torchhub_inference#load-an-example-video archery.mp4 pytorchvideo demo演示视频

https://pytorchvideo.org/docs/tutorial_torchhub_inference#load-an-example-video archery.mp4 pytorchvideo demo演示视频