yuanCruise

一：PCA算法目的根据样本矩阵X={x1，x2,…, Xm}，以及当前样本空间中样本个数N，求得样本协方差矩阵XXT，中的最大的K个特征向量，并且利用这K个特征向量组成的矩阵进行低纬度降维，实现数据的主成分分析。二：PCA降维的整体步骤（1）对原始数据减去平均值，实现去中心化。（2）求出样本空间中N个样本的样本协方差矩阵（XXT）。（3）利用SVD奇异值分解（适用于任意矩阵） 或 特征值分解（只适用于方阵）对样本协方差矩阵进行特征向量，特征值的分解。（4）对特征值进行降序排列，选出最大的K个，并

已经有cuda8下，安装cuda9，安装cudnn，安装conda并构建对应版本的python虚拟环境参考链接https://blog.csdn.net/weixin_32820767/article/details/80421913https://blog.csdn.net/qq_42683011/article/details/114242445【cuda版本和对应驱动版本】https://blog.csdn.net/swordinhand/article/details/84340331 【

论文：Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks论文：Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks论文链接：https://arxiv.org/pdf/1808.06866.pdf论文链接：https://arxiv.org/pdf/1808.07471.pdf代码链接：https://github.com/

1.centerloss原理centerloss中心损失它仅仅用来减少类内的差异，而不能有效增大类间的差异性。下图中，图（a)表示softmax loss学习到的特征描述 。图（b)表示softmax loss + center loss 学习到的特征描述，他能把同一类的样本之间的距离拉近一些，使其相似性变大，尽量的往样本中心靠拢，但可以看出他没有把不同类样本之间的样本距离拉大。centerloss的主要思路为：让每一类特征尽可能的在输出特征空间内聚集在一起。更直白的描述就是每一类的特征在特征空间中尽

https://arxiv.org/pdf/2002.11098.pdf1.优化shortcut现有的很多优秀的人体姿态估计网络都用到了类似Hourglass框架，该架构由多个如下图所示的编码器+解码器组合而成，且该框架内部有一个约定是下图中的跳跃连接能够有效提升网络性能。而本文对这种跳跃连接进行了深入分析，并利用软门控信号的方式优化该连接，实现了精度的提升。2.软门控信号如上图所示，所谓的软门控信号就是在每个跳跃连接的过程中，加入一个和输入通道维度相同的向量组，该向量组中的每一个标量值代表了当

1.什么是知识蒸馏最近利用知识蒸馏的方法，对业务中的性能有了可观的提升，因此在这里总结一波。本文主要从宏观的角度分析一下各个蒸馏算法的蒸馏方式，具体细节可以根据兴趣阅读论文~ 知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识蒸馏”出来，传递给参数量小、学习能力弱的网络。从而我们会得到一个速度快，能力强的网络，...

ICLR2017 | Paying More Attention to Attentionhttps://github.com/szagoruyko/attention-transfer1.注意力机制注意力在人类视觉体验中起着至关重要的作用。如下图所示，以图像分类为例，注意力地图展示了学习完成后的网络模型更关注于图像的哪个区域，是网络模型学习成果的体现。本文通过迫使学生模型模仿强大的教师模型...

CVPR 2019 | Variational Information Distillation for Knowledge Transferhttps://github.com/qiu931110/RepDistiller1.互信息在这篇论文中，作者提出了一种新的知识蒸馏形式，该方法将知识蒸馏的最优性能定义为最大化教师和学生网络之间的互信息。那么为什么通过最大化互信息可以使得蒸馏学习变得有...

CVPR 2019 | Similarity-Preserving Knowledge Distillation1.保持相似性知识蒸馏（SPKD）在这篇论文中，作者提出了一种新的知识蒸馏形式，该方法是作者观察到相似语义的输入往往会使得神经网络输出相似的激活模式这一现象启发得到的。该知识蒸馏方法被称为保持相似性知识蒸馏（SPKD），该方法使得教师网络中相似（不同）激活的输入样本对，能够在学生网络...

ECCV2018 | Learning Deep Representations with Probabilistic Knowledge Transferhttps://github.com/passalis/probabilistic_kt1.传统知识蒸馏最早的知识蒸馏方法专门针对分类任务进行设计，它们不能有效地用于其他特征学习的任务。 在本文中，作者提出了一种通过匹配数据在特征空间中的...

CVPR 2019 | Relational Knowledge Distillationhttps://github.com/HobbitLong/RepDistiller1.蒸馏学习由于大模型的拟合能力强，但计算效率低耗时大，而小模型的拟合能力弱，计算效率高。基于该特征，蒸馏学习的目的是让小模型学习大模型的拟合能力，在不改变计算效率的前提下提升小模型的拟合能力。如下图所示，传统的蒸馏学习...

1.BatchNorm在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并且能够控制过拟合，一般放在卷积层之后。如下示意图所示，BatchNorm是以通道为单位，对当前通道中所有的N、H、W做归一化。BN 层将特征归一化后，能够有效解决由于特征分布不均匀而导致的梯度消失与梯度爆炸问题。并通过可学习参数保证特征的有效性。虽然 BN 层在训练时起到了积极作用...

CVPR 2020 | Filter Grafting for Deep Neural Networkshttps://github.com/fxmeng/filter-grafting1.滤波器嫁接动机本文提出了一种全新的学习范式：滤波器嫁接，用于提高神经网络的特征表达能力。构建滤波器嫁接技术的动机是通常在训练完的网络中存在一些无效的滤波器，很多网络模型剪枝的文献中就会把这些无效的滤波器剪...

CVPR 2018 | Cascaded Pyramid Network for Multi-Person Pose Estimationhttps://github.com/chenyilun95/tf-cpn1.文章概述本文提出了一种级联金字塔网络CPN，该网络由全局金字塔网络（GlobalNet）和利用在线难例挖掘机制的精馏网络（RefineNet）组成。GlobalNet是一个特征金...

CVPR2017 Google | Towards accurate multi-person pose estimation in the wildOfficial Code: pytorch1.文章概述正如文章中提到的in the wild，本文的目的是利用top-down类姿态估计算法，尝试解决现实生活中各种实际存在的复杂情况下的人体姿态估计问题。其中最常见的是在人与人彼此靠近时，人体...

CVPR 2019 | Rethinking on Multi-Stage Networks for Human Pose EstimationOfficial Code: pytorch1.重新划分人体姿态估计网络类别bottom-up and top-down：现有的人体姿态估计网络综述中，通常将其分为bottom-up和top-down两大类。其中bottom-up类网络直接提取全图...

Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose EstimationOfficial Code: pytorch1.背景分析关键点遮挡和人体重叠会导致人体姿态估计的难度增大，在这种情况下，可能会产生生物学上难以置信的姿势预测。相反，人类视觉能够通过利用联合互连的人体关节间的几何约束来预测姿...

Self Adversarial Training for Human Pose EstimationOfficial Code: pytorch1.出发点由于人体的遮挡和拥挤等现象，现有的人体姿态估计网络很难解决此类情况下的准确估计，且此类现象会导致网络估计的关键点不符合正常的人体姿态，失去了人体固有的形态。比如下图中第二行图片所示，相较于第一行，很显然有部分关节是违背事实的。作者希望即使...

DirectPose: Direct End-to-End Multi-Person Pose Estimation论文地址：https://arxiv.org/pdf/1911.07451.pdf1.出发点最近，anchor-free的思想在CV的各个方向都大放异彩，尤其是目标检测领域。多数anchor-free的目标检测算法利用对图像中特征点的定位，实现目标检测。很容易看出，一个人体实例...

The Devil is in the Details: Delving into Unbiased Data Processingfor Human Pose Estimationgithub地址1.使用连续度量标准数据转换是指在不同的坐标系之间对关键点位置进行裁剪、旋转、调整大小、翻转等操作的转换。现有的姿态估计方法都是在离散空间中利用像素来测量图像的大小。而利用离散的像素点作为度量，...