Action Segmentation数据集介绍——Breakfast

最新推荐文章于 2024-10-21 19:03:03 发布
最新推荐文章于 2024-10-21 19:03:03 发布
阅读量1.7k 收藏 1
点赞数 1
分类专栏： 计算机视觉 文章标签： 数据集 动作分割 Breakfast
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43406895/article/details/129160868
版权
该文介绍了一个大规模的、带注释的早餐动作数据集，包含10种不同的烹饪活动，如juicecereals，由52位参与者在18个厨房环境中自然执行。数据集共有超过77小时的视频，旨在促进对目标导向人类活动的语法和语义恢复的研究。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


Breakfast（The Breakfast Action Dataset）

简介

早餐动作数据集包括与早餐准备相关的10个动作，由18个不同厨房的52个不同的人执行。该数据集是最大的完全带注释的数据集之一。这些动作是在“自然环境下”记录的，而不是在单一的受控实验室环境中记录的。它由超过77小时（>4万帧）的录像组成。为了减少数据总量，所有视频都被下采样到320×240像素的分辨率，帧速率为15 fps。

来源：
@article{HildeKuehne2014TheLO,
title={The Language of Actions: Recovering the Syntax and Semantics of Goal-Directed Human Activities},
author={Hilde Kuehne and Ali Bilgin Arslan and Thomas Serre},
journal={Computer Vision and Pattern Recognition},
year={2014}
}

主页：https://serre-lab.clps.brown.edu/resource/breakfast-actions-dataset/

在这里插入图片描述

细节

Cooking actibities

一共 10 种，包括：
在这里插入图片描述

illustration of the actions

juice
在这里插入图片描述
cereals
在这里插入图片描述

论文讲解

参见论文中第三章：Breakfast dataset
在这里插入图片描述

相关内容：
An end-to-end generative framework for video segmentation and recognition
The Language of Actions: Recovering the Syntax and Semantics of Goal-Directed Human Activities

Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation
qq_35424725的博客
07-25 1067
注：该文章发表于CVPR2020，文章主体框架建立在2019年“MS-TCN: Multi-Stage Temporal Convolutional Network for Action Segmentation”的基础上，欢迎查阅：MS-TCN介绍 论文原题：Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation 原文地址：https://arxiv.org/abs/2003.02824 论文的目标为“行为分割”（
MS-TCN: Multi-Stage Temporal Convolutional Network for Action Segmentation
qq_35424725的博客
07-24 5594
论文题目：Multi-Stage Temporal Convolutional Network for Action Segmentation 原文地址：https://arxiv.org/abs/1903.01945 这篇文章涉及的是视频的行为分割问题（Action Segmentation），也就是对视频（video）中的每帧，推断其对应的行为类别，也就是说，该问题本质上是一个逐帧的图像分类问题。 该文章的主要核心内容如下： 1.使用TCN对时序邻域信息进行聚合 由于人的行为具有时间相关性，为了捕获行为
ASFformer模型简述
m0_63156697的博客
12-19 483
无
视频理解中常用的数据集
阿耀的博客
10-14 6922
视频理解中常用的数据集
breakfast_data_scripts
02-21
Breakfast数据集的数据实用程序脚本 收集用于预处理和准备Breakfast数据集以进行动作识别的简单脚本 数据集可以在这里找到： :
breakfast
wgyyh
07-08 240
 
时序动作分割(temporal action segmentation)任务介绍
Michael’s Blog
10-01 2853
时序动作分割(temporal action segmentation)任务介绍
SSTDA实现动作细分的自监督时间域适应（PyTorch）
- 该研究展示了其方法在三个具有挑战性的基准数据集（GTEA，50 Salads，Breakfast）上取得的性能，相较于最新的其他领域适应方法，SSTDA展现出了领先的性能。 ### 标签知识解析： - **video**：该研究聚焦于视频...
生成式~扩散模型
whaosoft143ai的博客
02-02 1656
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerating the Animation of Personalized Diffusion Models and Ad
动作识别、检测、分割、解析相关数据集介绍
小威的博客
02-22 5506
本文将列举介绍目前在动作识别、动作检测、动作分割等相关领域的常用数据集和各自的特点。
Unsupervised Action Segmentation by Joint Representation Learning and Online Clustering_CVPR 2022理解速
Cloris_Sue的博客
06-01 715
Unsupervised Action Segmentation by Joint Representation Learning and Online Clustering理解速递
Action Segmentation动作分割概念区别
m0_60273616的博客
06-20 717
Action Segmentation动作分割和动作定位概念区别
【论文精读】ASRF Alleviating Over-segmentation Errors by Detecting Action Boundaries
weixin_44723928的博客
04-08 866
我们提出了一个有效的时间动作分割框架，即动作分割细化框架（ASRF）。模型架构由一个长期特征提取器和两个分支组成：动作分割分支（ASB）和边界回归分支（BRB）。长期特征提取器提供了两个分支的共享特征，具有广泛的时间感受场。ASB用动作类别对视频帧进行分类，而BRB回归动作边界概率。BRB预测的动作边界细化了ASB的输出，这导致了显著的性能提高。（i）我们提出了一个用于时间动作分割的框架ASRF，它将时间动作分割分为逐帧动作分类和动作边界回归。我们的框架使用预测的动作边界改进了动作类别的帧级假设。
【无标题】
weixin_43856821的博客
11-28 795
CAM是在神经网络可解释性研究中，对最后一层全连接层修改为GAP的，之后进行可解释性地定位研究。具体推导过程：计算方法如下图所示。对于一个CNN模型，对其最后一个feature map做全局平均池化（GAP）计算各通道均值，然后通过全连接层等映射到class score，找出argmax，计算最大的那一类的输出相对于最后一个feature map的梯度，再把这个梯度可视化到原图上即可。直观来说，就是看一下网络抽取到的高层特征的哪部分对最终的classifier影响更大。
食谱、菜谱大全数据库：烹饪爱好者的宝藏
gitblog_09723的博客
10-21 1086
食谱、菜谱大全数据库：烹饪爱好者的宝藏 【下载地址】食谱菜谱大全数据库数据集 本仓库提供了一个包含丰富食谱和菜谱的数据库（数据集），压缩前文件大小为141MB，共包含17万条数据。该数据集适用于烹饪爱好者、餐饮行业从业者、数据分析师以及任何对食谱和菜谱感兴趣的用户 ...
2022-11-5学习记录
weixin_43856821的博客
11-05 613
任务定义定义一：给出一段帧长为T的视频片段，将它们划分为l小段，并为每一小段分类。定义二：二分类语义分割任务。相关工作2.1 时序动作检测（定位）note：TAD/L和TAS的关系，可以类比目标检测和语义分割的关系。2.2 关键帧检测（Key-Frame Detection）复杂活动分类（Complex Activity Classification）2.3 序列分割任务（Sequence Segment Tasks）note：在时序上出更细粒度的框，不出语义标签；
食谱、菜谱大全数据库（数据集）
gitblog_09753的博客
10-17 2188
食谱、菜谱大全数据库（数据集） 【下载地址】食谱菜谱大全数据库数据集 本仓库提供了一个包含丰富食谱和菜谱的数据库（数据集），压缩前文件大小为141MB，共包含17万条数据。该数据集适用于烹饪爱好者、餐饮行业从业者、数据分析师以及任何对食谱和菜谱感兴趣的用户 ...
斯坦福公布3D街景数据集：2500万张图像，8个城市模型 | 下载
量子位
10-15 3123
安妮 编译整理 量子位 出品 | 公众号 QbitAI 近日，斯坦福大学的研究人员公布了一个数据集，其中包含带有相机姿态的街景数据、8个城市的3D模型和拓展的元数据。这个数据集数据量庞大，街景数据集就包含2500万张图像和1.18亿个匹配的图像对。 数据集可用于学习6DOF相机姿态估计/视觉运动、图像匹配及各种三维估计。比如下面的这个例子： 为了得到这个数据集，斯坦福的
计算机视觉著名数据集CV Datasets
ytusdc的博客
11-21 1996
Detection PASCAL VOC 2009 dataset Classification/Detection Competitions, Segmentation Competition, Person Layout Taster Competition datasets LabelMe dataset LabelMe is a web-based image annota
CT2USfor kidney segmentation数据集介绍
最新发布
03-16
### CT2US for Kidney Segmentation 数据集的详细介绍 CT2US for Kidney Segmentation 是一种用于肾脏分割的研究数据集，旨在促进跨模态医学图像分析的发展。该数据集结合了来自腹部计算机断层扫描 (CT) 和超声波 (US) 的成像数据，提供了丰富的标注信息以支持深度学习算法的应用 [^1]。 #### 数据集特点 - **多模态融合**：此数据集包含了配准后的 CT 和 US 图像对，允许研究者探索不同成像技术间的关联性并开发更鲁棒的分割模型。 - **高质量标注**：每张图像均经过放射科医生手动标记，确保边界定义清晰准确，从而提升训练样本的质量 [^2]。 #### 应用场景 在医学影像领域，利用深度学习实现自动化的肾脏分割具有重要意义。具体而言： - 它能够辅助临床决策过程，比如制定个性化治疗方案或者评估疾病进展程度； - 对于肾癌早期检测以及术后随访也有着不可替代的作用 。 #### 技术挑战 尽管如此，在实际操作过程中仍然面临诸多难题： - 如何有效地处理因设备差异而导致的空间分辨率不一致问题？ - 需要设计特定架构来捕捉细粒度特征的同时兼顾整体结构信息 。 以下是基于 Transformer 架构的一个简单示例代码片段展示如何构建基础框架： ```python import torch.nn as nn class KidneySegmentationModel(nn.Module): def __init__(self, input_channels=1, num_classes=2): super(KidneySegmentationModel, self).__init__() # Example backbone using a simplified transformer encoder self.transformer_encoder = nn.TransformerEncoder( nn.TransformerEncoderLayer(d_model=input_channels * 64, nhead=8), num_layers=6) self.conv_head = nn.Conv2d(input_channels*64, num_classes, kernel_size=1) def forward(self, x): b, c, h, w = x.shape # Flatten spatial dimensions into sequence length dimension expected by transformers. x_flat = x.view(b, c*h*w).permute(0, 2, 1) encoded_features = self.transformer_encoder(x_flat.permute(1, 0, 2)) output = self.conv_head(encoded_features.permute(1, 0, 2).view(b,c,h,w)) return output ``` 上述代码仅作为概念验证用途，并未考虑优化性能或适配具体任务需求等因素 。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wei *

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值