yuanCruise-CSDN博客

原创动态规划 | 最长上升子序列长度

题目：300.最长上升子序列描述：给定一个无序的整数数组，找到其中最长上升子序列的长度。示例：输入: [10,9,2,5,3,7,101,18]输出: 4解释: 最长的上升子序列是 [2,3,7,101]，它的长度是4。一：利用递归实现最长上升子序列import timeimport random##### init 300.最长上升子序列 ########def lts(input): result = 0 for index in range(len

2023-06-20 14:35:17 297 2

原创机器学习算法 | PCA（主成分分析）降维算法

一：PCA算法目的根据样本矩阵X={x1，x2,…, Xm}，以及当前样本空间中样本个数N，求得样本协方差矩阵XXT，中的最大的K个特征向量，并且利用这K个特征向量组成的矩阵进行低纬度降维，实现数据的主成分分析。二：PCA降维的整体步骤（1）对原始数据减去平均值，实现去中心化。（2）求出样本空间中N个样本的样本协方差矩阵（XXT）。（3）利用SVD奇异值分解（适用于任意矩阵）或特征值分解（只适用于方阵）对样本协方差矩阵进行特征向量，特征值的分解。（4）对特征值进行降序排列，选出最大的K个，并

2021-06-27 16:04:21 3157 3

原创 cuda环境配置

已经有cuda8下，安装cuda9，安装cudnn，安装conda并构建对应版本的python虚拟环境参考链接https://blog.csdn.net/weixin_32820767/article/details/80421913https://blog.csdn.net/qq_42683011/article/details/114242445【cuda版本和对应驱动版本】https://blog.csdn.net/swordinhand/article/details/84340331 【

2021-06-03 15:27:42 793

原创 IJCAI2018 | SFP软剪枝通道裁剪算法

论文：Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks论文：Asymptotic Soft Filter Pruning for Deep Convolutional Neural Networks论文链接：https://arxiv.org/pdf/1808.06866.pdf论文链接：https://arxiv.org/pdf/1808.07471.pdf代码链接：https://github.com/

2020-05-20 18:03:06 2122

原创 CenterLoss | 减小类间距离

1.centerloss原理centerloss中心损失它仅仅用来减少类内的差异，而不能有效增大类间的差异性。下图中，图（a)表示softmax loss学习到的特征描述。图（b)表示softmax loss + center loss 学习到的特征描述，他能把同一类的样本之间的距离拉近一些，使其相似性变大，尽量的往样本中心靠拢，但可以看出他没有把不同类样本之间的样本距离拉大。centerloss的主要思路为：让每一类特征尽可能的在输出特征空间内聚集在一起。更直白的描述就是每一类的特征在特征空间中尽

2020-05-13 22:54:14 5247

原创 FG2020 | 软门控信号优化shortcut

https://arxiv.org/pdf/2002.11098.pdf1.优化shortcut现有的很多优秀的人体姿态估计网络都用到了类似Hourglass框架，该架构由多个如下图所示的编码器+解码器组合而成，且该框架内部有一个约定是下图中的跳跃连接能够有效提升网络性能。而本文对这种跳跃连接进行了深入分析，并利用软门控信号的方式优化该连接，实现了精度的提升。2.软门控信号如上图所示，所谓的软门控信号就是在每个跳跃连接的过程中，加入一个和输入通道维度相同的向量组，该向量组中的每一个标量值代表了当

2020-05-13 22:53:34 681

原创知识蒸馏 | 模型压缩利器_良心总结

1.什么是知识蒸馏最近利用知识蒸馏的方法，对业务中的性能有了可观的提升，因此在这里总结一波。本文主要从宏观的角度分析一下各个蒸馏算法的蒸馏方式，具体细节可以根据兴趣阅读论文~ 知识蒸馏是一种模型压缩常见方法，用于模型压缩指的是在teacher-student框架中，将复杂、学习能力强的网络学到的特征表示“知识蒸馏”出来，传递给参数量小、学习能力弱的网络。从而我们会得到一个速度快，能力强的网络，...

2020-05-03 15:37:29 3493

原创 ICLR 2017 | AT_注意力引导的知识蒸馏

ICLR2017 | Paying More Attention to Attentionhttps://github.com/szagoruyko/attention-transfer1.注意力机制注意力在人类视觉体验中起着至关重要的作用。如下图所示，以图像分类为例，注意力地图展示了学习完成后的网络模型更关注于图像的哪个区域，是网络模型学习成果的体现。本文通过迫使学生模型模仿强大的教师模型...

2020-03-28 21:21:47 2503

原创 CVPR 2019 | VID_最大化互信息知识蒸馏

CVPR 2019 | Variational Information Distillation for Knowledge Transferhttps://github.com/qiu931110/RepDistiller1.互信息在这篇论文中，作者提出了一种新的知识蒸馏形式，该方法将知识蒸馏的最优性能定义为最大化教师和学生网络之间的互信息。那么为什么通过最大化互信息可以使得蒸馏学习变得有...

2020-03-28 21:21:18 3903 2

原创 CVPR 2019 | SP_相似性保存知识蒸馏

CVPR 2019 | Similarity-Preserving Knowledge Distillation1.保持相似性知识蒸馏（SPKD）在这篇论文中，作者提出了一种新的知识蒸馏形式，该方法是作者观察到相似语义的输入往往会使得神经网络输出相似的激活模式这一现象启发得到的。该知识蒸馏方法被称为保持相似性知识蒸馏（SPKD），该方法使得教师网络中相似（不同）激活的输入样本对，能够在学生网络...

2020-03-28 21:20:44 1730 1

原创 ECCV2018 | PKT_概率知识蒸馏

ECCV2018 | Learning Deep Representations with Probabilistic Knowledge Transferhttps://github.com/passalis/probabilistic_kt1.传统知识蒸馏最早的知识蒸馏方法专门针对分类任务进行设计，它们不能有效地用于其他特征学习的任务。在本文中，作者提出了一种通过匹配数据在特征空间中的...

2020-03-20 22:03:24 2654 1

原创 CVPR2019 | 关系型知识蒸馏法

CVPR 2019 | Relational Knowledge Distillationhttps://github.com/HobbitLong/RepDistiller1.蒸馏学习由于大模型的拟合能力强，但计算效率低耗时大，而小模型的拟合能力弱，计算效率高。基于该特征，蒸馏学习的目的是让小模型学习大模型的拟合能力，在不改变计算效率的前提下提升小模型的拟合能力。如下图所示，传统的蒸馏学习...

2020-03-17 23:16:48 5703

原创工程Trick | 合并BN层加速前向推理

1.BatchNorm在训练深度网络模型时，BN（Batch Normalization）层能够加速网络收敛，并且能够控制过拟合，一般放在卷积层之后。如下示意图所示，BatchNorm是以通道为单位，对当前通道中所有的N、H、W做归一化。BN 层将特征归一化后，能够有效解决由于特征分布不均匀而导致的梯度消失与梯度爆炸问题。并通过可学习参数保证特征的有效性。虽然 BN 层在训练时起到了积极作用...

2020-03-13 20:58:49 557

原创 CVPR 2020 | 模型压缩新范式_滤波器嫁接技术

CVPR 2020 | Filter Grafting for Deep Neural Networkshttps://github.com/fxmeng/filter-grafting1.滤波器嫁接动机本文提出了一种全新的学习范式：滤波器嫁接，用于提高神经网络的特征表达能力。构建滤波器嫁接技术的动机是通常在训练完的网络中存在一些无效的滤波器，很多网络模型剪枝的文献中就会把这些无效的滤波器剪...

2020-03-08 14:47:21 1447 2

原创 CVPR 2018 | CPN_COCO2017姿态估计冠军解决方案

CVPR 2018 | Cascaded Pyramid Network for Multi-Person Pose Estimationhttps://github.com/chenyilun95/tf-cpn1.文章概述本文提出了一种级联金字塔网络CPN，该网络由全局金字塔网络（GlobalNet）和利用在线难例挖掘机制的精馏网络（RefineNet）组成。GlobalNet是一个特征金...

2020-03-06 21:34:44 1679

原创 CVPR2017 | G-RMI_Google大佬构建的姿态估计baseline

CVPR2017 Google | Towards accurate multi-person pose estimation in the wildOfficial Code: pytorch1.文章概述正如文章中提到的in the wild，本文的目的是利用top-down类姿态估计算法，尝试解决现实生活中各种实际存在的复杂情况下的人体姿态估计问题。其中最常见的是在人与人彼此靠近时，人体...

2020-03-06 20:56:50 1502

原创 CVPR 2019 | MSPN 重新思考多阶段人体姿态估计网络

CVPR 2019 | Rethinking on Multi-Stage Networks for Human Pose EstimationOfficial Code: pytorch1.重新划分人体姿态估计网络类别bottom-up and top-down：现有的人体姿态估计网络综述中，通常将其分为bottom-up和top-down两大类。其中bottom-up类网络直接提取全图...

2020-03-01 11:58:40 2694 1

原创 SAGANPose | 隐式结构化对抗人体姿态估计网络

Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose EstimationOfficial Code: pytorch1.背景分析关键点遮挡和人体重叠会导致人体姿态估计的难度增大，在这种情况下，可能会产生生物学上难以置信的姿势预测。相反，人类视觉能够通过利用联合互连的人体关节间的几何约束来预测姿...

2020-02-24 22:20:47 1288

原创 SGANPose | 自对抗人体姿态估计网络

Self Adversarial Training for Human Pose EstimationOfficial Code: pytorch1.出发点由于人体的遮挡和拥挤等现象，现有的人体姿态估计网络很难解决此类情况下的准确估计，且此类现象会导致网络估计的关键点不符合正常的人体姿态，失去了人体固有的形态。比如下图中第二行图片所示，相较于第一行，很显然有部分关节是违背事实的。作者希望即使...

2020-02-24 21:59:46 3274

原创 DirectPose | 首个检测&关键点回归网络

DirectPose: Direct End-to-End Multi-Person Pose Estimation论文地址：https://arxiv.org/pdf/1911.07451.pdf1.出发点最近，anchor-free的思想在CV的各个方向都大放异彩，尤其是目标检测领域。多数anchor-free的目标检测算法利用对图像中特征点的定位，实现目标检测。很容易看出，一个人体实例...

2020-02-21 20:01:25 5345 5

原创 UDP无偏数据处理 | 人体姿态估计通用trick

The Devil is in the Details: Delving into Unbiased Data Processingfor Human Pose Estimationgithub地址1.使用连续度量标准数据转换是指在不同的坐标系之间对关键点位置进行裁剪、旋转、调整大小、翻转等操作的转换。现有的姿态估计方法都是在离散空间中利用像素来测量图像的大小。而利用离散的像素点作为度量，...

2020-02-14 20:19:36 2446

原创基于CNN的2D多人姿态估计论文综述

bottom up系列算法（直接获取全图人体关键点）:1.Openpose（coco2016关键点冠军，利用paf进行group）2.Lightweight OpenPose（轻量级Openpose）3.Associative Embedding （关键点分组编码思想）4.Pose Proposal Networks（利用YOLO思想采用网格级别姿态估计）5.GPN（生成分区网络用以实...

2020-02-13 19:00:46 2721 1

原创动手学习深度学习 | 笔记汇总

1.笔记1(1) pytorch相关类的学习pytorch中的参数类——torch.nn.parameterpytorch中的顺序容器——torch.nn.Sequentialpytorch中的神经网络模块基础类——torch.nn.Modulepytorch中的神经网络子模块(线性模块)——torch.nn.Linear(2) python函数部分操作图解动手学习深度学习 | 部分...

2020-02-13 11:48:05 397

原创动手学习深度学习 | 语言模型和循环神经网络笔记

0.文本处理整体概况step1：对原始数据进行分词step2：对分词后的数据进行去重编号，得到[词语to序号]的列表，和[序号to词语]的字典。将这两部分用作后续训练循环神经网络的数据集。step3：通过一些采样方法对构建的数据集进行采样，得到训练的批次。常见的采样方法有随机采样和相邻采样。step4：利用语言模型对上述的数据集进行训练，得到一个nlp模型。语言模型有n元语法模型，RNN模...

2020-02-13 11:40:44 485

原创动手学习深度学习 | 部分python函数详解

(1):维度dim，保持原有维度keepdim下面通过图像的形式直观的展示了这两个参数的作用。X = torch.tensor([[1, 2, 3], [4, 5, 6]])print(X.sum(dim=0, keepdim=True))print(X.sum(dim=1, keepdim=True))print(X.sum(dim=0, keepdim=False))print(X...

2020-02-13 11:01:12 762

原创 pytorch中的参数类——torch.nn.parameter

1.torch.nn.parameter概要pytorch官网对torch.nn.parameter的描述如下。torch.nn.parameter是一个被用作神经网络模块参数的tensor。这是一种tensor的子类。parameters是张量的子类，当与模块s一起使用时，它们有一个非常特殊的属性——当它们被重新分配为模块属性时，它们会自动地添加到它的参数列表中，并且会出现在Parame...

2020-02-13 10:59:52 4255 1

原创 pytorch中的神经网络子模块(线性模块)——torch.nn.Linear

pytorch中的线性模块的实现如下，在init函数中定义weight值和bias值。class Linear(Module): __constants__ = ['bias', 'in_features', 'out_features'] def __init__(self, in_features, out_features, bias=True): sup...

2020-02-13 10:59:15 2031 2

原创 pytorch中的神经网络模块基础类——torch.nn.Module

1.torch.nn.Module概要pytorch官网对torch.nn.Module的描述如下。torch.nn.Module是所有的神经网络模块的基类，且所有的神经网络模块都可以包含其他的子神经网络模块，这些子神经网络模块可以作为类的属性赋值。2.torch.nn.Module.parameterspytorch官网对torch.nn.Module.parameters的描述如下：...

2020-02-13 10:57:52 1006

原创 pytorch中的顺序容器——torch.nn.Sequential

1.torch.nn.Sequential概要pytorch官网对torch.nn.Sequential的描述如下。使用方式：# 写法一net = nn.Sequential( nn.Linear(num_inputs, 1) # 此处还可以传入其他层 )# 写法二net = nn.Sequential()net.add_module('linear', ...

2020-02-10 21:02:49 1719

原创基于CNN的2D单人体姿态估计论文综述

1.DeepPose（谷歌大佬首次提出人体关键点解决方案）CVPR2014 Google | DeepPose: Human Pose Estimation via Deep Neural Networks3rdParty Code:pytorch3rdParty Code:chainer3rdParty Code:tensorflow3rdParty Code:caffeGoogle...

2020-02-06 20:21:56 7522 1

原创数字图像处理 | 对比度在图像中起到什么作用

你真的了解对比度吗？对比度是数字图像中非常基本的概念，一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，即指一幅图像灰度反差的大小。直白的说就是：对比度大整体的色彩更鲜艳，对比度小色彩感更平淡。接下来我们用像素直方图的例子来形象的展示对比度大小在图像上的差异。1.整体实现代码from PIL import Imagefrom PIL import ImageEnhanceimpo...

2020-01-06 22:10:26 2929

原创 CVPR2019 | CrowdPose：拥挤人体关键点benchmark

https://github.com/MVIG-SJTU/AlphaPose/tree/pytorchhttps://arxiv.org/pdf/1812.00324.pdf1.传统单人姿态估计loss传统的单人姿态估计模型的loss（以MSE均方误差为例），对于每个关键点而言，传统的计算loss方式如下：上图中，一个目标框中只对有效人体的关键点进行回归。不考虑背景中出现的其他人体关...

2019-12-29 17:03:18 885

原创 pytorch | 文档学习_持续更新

1.自动求导机制每一个tensor都有一个required_grad字段，该字段能够从梯度计算中以最小计算为单位对计算图进行操作，更加灵活效率更高。某个tensor的来源中，只要有一个tensor的required_grad字段为True，则当前tensor的required_grad为True。...

2019-12-18 19:28:29 317

原创 C语言 | 解析json

// 用cjson.c和cjson.h读取json文件，保存json文件#include "cJson.h"/*// 示例json，名称为1.json[ { "ImgName":"abc.jpg" "ImgInfo": { "ImgSize": [ 1...

2019-12-13 21:54:53 554

原创 DIoU YOLOv3 | AAAI 2020：更加稳定有效的目标框回归损失

DIoU要比GIou更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IoU和GIoU一样出现训练过程中发散等问题。https://arxiv.org/pdf/1911.08287.pdfhttps://github.com/Zzh-tju/DIoU-darknet1：IoU & GIoU存在的问题分析论文作者...

2019-11-30 22:17:14 6261 3

原创 Anchor Loss | ICCV2019，优化分类性能

本文提出了一种基于样本预测困难度动态调整交叉熵的损失函数，它根据预测的相对困难程度来自动调节损失的大小。在本文中，我们将介绍anchor loss，并解释图像分类中anchor loss。首先，我们定义了预测的困难，并给出了相关的例子。然后给出了锚失量函数的广义形式。并通过数值的形式介绍了anchor loss。最后，通过与其他损失函数在公式上的比较，加深anchor loss 提出的改变。论...

2019-11-24 17:17:33 1158 2

原创 Giou YOLOv3 | CVPR2019，通用，更优的检测框评价指标

本文提出的GIou损失函数，是一种目标检测领域用于回归目标框损失函数。该Trick适用于任何目标检测算法。本文以YOLOv3为例进行阐述。https://giou.stanford.edu/GIoU.pdfhttps://github.com/qiu931110/g-darknet1.MSE回归策略在原始的YOLOv3中利用MSE作为损失函数来进行目标框的回归，如下图所示，不同质量的预测结...

2019-11-02 10:24:52 3640 4

原创 Guassian YOLOv3 | ICCV2019，更快更强的YOLOv3

在目标检测的落地项目中，实时性和精确性的trade-off至关重要，而YOLOv3是目前为止在这方面做得最好的算法。本文通过高斯分布的特性，改进YOLOv3使得网络能够输出每个检测框的不确定性，从而提升了网络的精度。1.YOLOv3简介如下图a所示，为YOLOv3的网络架构。YOLOv3使用了skip shotcut的操作方式网络过深而引起的梯度消散。YOLOv3使用了up-sample操...

2019-10-27 17:21:06 5067 11

原创【姿态估计】 | DARK——人体姿态估计通用trick

https://arxiv.org/pdf/1910.06278.pdf关键点标签编码（encoding）训练人体姿态估计网络时，考虑到训练代价，通常会将将输入图片做降采样，在降采样后的分辨率上进行训练。为了网络能够以热度图为标签进行训练，需要将基于原图分辨率的关键点坐标，转换为降采样后分辨率下的关键点坐标。并利用高斯模糊进行转换成热度图。我们称这个过程称为坐标编码，从坐标点到热图。关...

2019-10-24 07:41:54 2913

原创 CV领域的注意力机制综述

注意力机制在卷积网络的优化中，以及被广泛的使用。下面介绍几种非常著名的，应用于特征提取网络的注意力机制。SEnet(https://arxiv.org/abs/1709.01507 )SEnet（Squeeze-and-Excitation Network）考虑了特征通道之间的关系，在特征通道上加入了注意力机制。SEnet通过学习的方式自动获取每个特征通道的重要程度，并且利用得到的重要程...

2019-10-19 10:40:25 5834 3

python调用C语言动态库例程

darknet——yolov3

windows下离线查看caffe网络（prototxt）

空空如也