【组会记录 | 研一下】医学影像&自然图像

【2.25】-步态

主题：通过单帧步态图像重建步态周期的步态识别
论文：Gait Recognition from a Single Image using a Phase-Aware Gait Cycle Reconstruction Network

讨论：

1、研一下要有实质性进展/想法，至少要确定模型，这也假期可以做实验&写论文

（实际上有很多情况会导致延迟）

2、论文/讲座

（1）因为演讲者很多基础的/重要的东西没有交代清楚而导致听者不理解

（2）演讲者在讲论文的时候，先挑论文重点/中心工作 给大家讲清楚，然后再去讲实现细节（大家会清晰一点，所见即所得）

（3）老师看论文的时候会关注细节，比如参数/结构/为什么？(比如师姐的归一化)

3、一些问题

（1）从一个二维图得到一个向量，有几种方法？

①池化

②展平

③全连接：（FC参数大有过拟合风险，但学得多/高/准）

FC后要加分类结果、CNN后是特征提取分类结果

一维信号变图片、二维图形变换、

（2）200维->2维->向量

       eg. 1x1的100个通道=>2x2的30个通道如何实现？

          resize、上采样

（3）phase相位

【3.11】- 认知障碍

SCD主观认知障碍

PET检测脑活性，功能项核磁，不是高清（测某一生物特性的指标）

ADNI做痴呆的数据集、

迁移学习

【3.18】-zou

上采样代替反卷积

合理角矩阵

SMAPE越低越好、AMAE（人工手动测量误差5-10）、MSE

曲率、曲线上描述cobb角/变化

Smooth平滑的目的是为了降噪（稀疏矩阵 一般会加入平滑）

拟合：追求所有点~误差最小

多任务？多目标

ResNet预测更准      学得更少 效果更好 ||  减少误差

一张热图，17个关键点（多高斯）Not一张图一个关键点 || 步态中人的姿势会不一样(多分类任务） 脊柱锥体之间本身就是有很强的结构相似性，所以会出现找错通道的情况

轻量化  有些需要加 有些不需要加

研三论文截止4.6

研二小论文3.18

论文讲半小时/消化后讲核心 讨论半小时

【4.1】-

【冯】

Low/high level feature

空间注意力是点乘

CAM(channel attention module)一般插在末尾部分

关于MLP是否shared

许师姐：只用Maxpool 直接contact 然后送到MLP

为什么要加MLP操作：low/high attention去生成各自……

目前模型是参数量比较大

DL感受野越来越大，所以在生成的过程中，低级空间特征慢慢就丢失了，更加关注高级的全局结构信息。为什么要融合，就是让高级也加入低级，所以加通道，局部和全局相互参考，然后确定我要更加关注哪个通道。[许师姐的通道注意力机制]

许：[？跨度很大的残差模块]、

许只是把通道注意力施加到全局中，冯做的是相互去学习，试试看这样得到的信息是不是更丰富。

HRnet里面应该有十几个block，两个MFAM离得不算近，可以。

HRnet有个特点就是会将浅层高层特征contact在一起、

HRnet有3各阶段，

ResNet分层/块，无阶段

原始HRNet是跨分辨率不是跨层的

模型一定要前后特征contact才行

郭：

1、shared MLP出来后还有通道吗？

A：是对C这个通道做全连接（一般全连接出来是一层）

Channel Attention出来是特征图

2、后面的MLP的作用？

生成各自的注意力

3、Stage图

想做的是即插即用型，随机选两个然后融合，就是要调整一下参数

4、第二个想法

通过两个点，绘制直线，得到body part（那后面其他点/部件的位置就可以通过其估计）

【蒋】

标题：数据集压缩by梯度压缩

传统方法：

Coreset selection：从原始数据中选择具有代表性的样本

Dataset distillation:数据蒸馏/模型压缩，对输入的数据集进行反向传播迭代，更新网络权重

数据蒸馏：DATASET DISTILLATION - 知乎 (zhihu.com)

提出：

基于梯度匹配的数据压缩

优点：解耦（生成的数据集与网络结构无关）

【4.29】-

【注意力机制】

1、一般用软注意力(广泛)>硬注意力；键值对 key-value两个维度输入；多个查询-MUlti-Head；

通道注意力（浅层-特征/深层-物体）；空间注意力（reshape 位置间的关系？）；空间+通道(CBAM/DAnet)

QK(映射)V、SE都是软注意力

2、自注意力与多头注意力（Q,K,V）

3、空间注意力一般加在深层(浅层的参数量太大)、通道注意力都可

U-Net

1、改进方法：

3D替换2D、

编码器：（特征提取/方式的改进）

跳跃连接：（降低语义差距）、UNet++

编码&解码&跳跃连接：

编码&解码&桥接模块：U2-Net

编码&解码&跳跃连接&桥接模块：

跳跃连接：

编码器&跳跃连接：

编码&解码&输入输出：[时]多尺度输入单尺度输出

网络结构的重复：

<理解深刻才能做出改进>

2、邹：UNet+hrnet

CN特征及优点

3、师兄工作

层间/内 改进

（Attention Gate的改进动机->多尺度融合、1x1卷积就是为了改变通道数；

Inception得到的特征通道有相同权值->动态加权/注意力自适应）

只有加性才会经过两个

不同睡眠周期的加权，得到类别

4、师兄建议

多尝试/实验、紧跟热点、多看论文

【监控异常检测】

不关注异常事件的类别，只关注是否含有异常事件

Unmasking：从视频中接入异常事件

没有用DL，只用了线性分类器

异常得分(变化大的地方更容易辨别)\如何得准确率

无监督（初始异常检测、自适应？不断更新迭代）、

半监督(特点是训练数据都是正常数据，Flownet提取运动特征)、Memory、动态Prototype Unit

弱监督（正常视频+异常数据，但后者什么时候出现不知道/某个时间段有没有异常/在哪里也不知道、

排序损失、正包负包、）

半监督是弱监督的特例

重构

抽调the most discriminant features之后 准确率变化大？

讲PPT的时候主要分享思想和核心工作，必要先验细节要讲，有些细节可以不用讲。

【5.6】-

【方-曲面参数化 Surface Parametrization】

1、应用

Texture Mapping/Transfer、四边形网格、参数化设计

2、从数学角度理解MappIng

Jacobian借助SVD来分析MappIng (圆->椭圆 有拉伸)

Lsometric等距变换(可换角度看)、Conformal保角(可拉扯)、Equiareal等面积

Domain

f退化意味着梯度退化、一对一映射(二维与曲面之间)

Linear Map (Jt)、ARAP(尽量只是旋转没有拉伸)、MIPS、Seamless无缝参数化(切割处有二义性)

Optimization

Linear Solver、Optimizer

3、Q&A

四边形网格与三角形网格的使用区别、如何采样

【李-步态识别及换装ReID综述】

1、步态识别难点(基于轮廓变化)

视角变化、服装/携带物变化、遮挡和环境的变化

2、步态识别和ReID的区别

步态识别：提取静态的内部特征(身高关节肌肉关键点)、动态特征

ReID：静态外观特征（携带物）

3、SP模块/set pooling、Gaint~、空间part(微运动)、

GAN用于解耦、卷积本身带有感受野、

self_attention：基于全局的transformer 多头multi-head 一个头看微运动一个看多运动whichbetter

4、师兄工作(zhaolim)

创新点：不要只是修改而要有想法？

分享的论文有筛选，和自己写的论文想法有关联

光靠模型比赛是不够的，要tricks

浙大罗浩（有一篇论文，ReID中所有tricks都去试了一下，看看对提点的帮助）

5、换装ReID

基于人脸(not)