761527200_leili的博客

原创 What it Thinks is Important is Important: Robustness Transfers through Input Gradients

一.摘要1.出发点：（1）在深度学习中，对输入图片加入一个微小的对抗性扰动就可以很大程度上干扰神经网络的预测（2）用鲁棒模型的权重来对抗干扰可以传递模型鲁棒性，但源任务和目标任务模型架构必须相同。2.结果：（1）通过MNIST, CIFAR-10的实验，在CIFAR-100和Tiny-ImageNet中，我们证明了我们提出的方法，输入梯度对抗匹配，可以在不同的任务甚至不同的模型架构之间传递鲁棒性（2）这表明直接针对输入梯度的语义是一种可行的对抗鲁棒性方法二.Introduction1.深度学

原创 PGD:Towards Deep Learning Models Resistant to Adversarial Attacks

一.摘要1.出发点：（1）深度网络对对抗攻击（adversarialattack）即对对抗样本的天生缺陷。（2）当输入信息与自然样本差别并不大是却被网络错误的分类，如下图。2.作者提出方法和论证如下：（1）从鲁棒优化的角度研究了神经网络的抗差鲁棒性。这与很多最近的相关工作具有广泛的一致性 eg：防御蒸馏，特征压缩。（2）根据方法的原理性使得该方法在普遍范围内是通用和有效的，即使用最...

原创 对极几何-Epipolar Geometry

对极几何

原创 Self-training with Noisy Student improves ImageNet classification论文解析

一.摘要首先，本文开门见山给出实验结果在ImageNet上的提升。之后给出了他的实现方法，总的来说这篇文章结合了（1）知识蒸馏（2）半监督学习（3）模型噪音以及数据噪音 ，想要了解基础知识的可以先看博客：知识蒸馏(Knowledge Distillation)、半监督学习(semi-supervised learning)以及弱监督学习(weak-supervised learning)总结...

原创 知识蒸馏(Knowledge Distillation)、半监督学习(semi-supervised learning)以及弱监督学习(weak-supervised learning)

一.知识蒸馏1.知识蒸馏（1）首先，我先强调一下蒸馏学习其实本质是模型压缩！模型压缩！模型压缩！S模型有的精度高于T模型，有的低于T模型，但是可以很好地压缩网络体积。（2）知识蒸馏是由Hiton的Distilling the Knowledge in a Neural Network 论文地址提出，并通过引入与教师网络（Teacher Network：网络结构复杂，准确率高 一般是我们的 B...

转载 KL散度、交叉熵、熵之间的区别和联系

原创 基于深度学习的视觉三维重建研究总结2进阶

What Is Single-view 3D Object Reconstruction ?摘要       随着人工智能，计算机视觉和图像处理的发展，三维重建在机器人，自动驾驶，虚拟现实和增强现实的需求日益增加。在三维重建中最重要的就是几何结构，如何有效的重建三维物体的几何结构是三维重建的关键问题。目前大部分工作通过2D...

原创 损失函数汇总和Pytorch代码示例

1.交叉熵损失1.交叉熵是一个信息论中的概念，它原来是用来估算平均编码长度的。给定两个概率分布p和q，通过q来表示p的交叉熵为注意，交叉熵刻画的是两个概率分布之间的距离，或可以说它刻画的是通过概率分布q来表达概率分布p的困难程度，p代表正确答案，q代表的是预测值，交叉熵越小，两个概率的分布约接近那么，在神经网络中怎样把前向传播得到的结果也变成概率分布呢？Softmax回归就是一个非常有用的...

转载 开源数据集

Images Analysis数据集介绍内容和标注地址Flickr30k图片描述31,783 images，每张图片5个语句标注链接Microsoft COCO图片描述330,000 images,每张图片至少5个语句标注链接ESP Game多标签定义图像20,770 images，268 tags，诸如bed, light man,music...

原创 基于深度学习的视觉三维重建研究总结

基于深度学习的视觉三维重建研究总结1.三维重建意义三维重建作为环境感知的关键技术之一，可用于自动驾驶、虚拟现实、运动目标监测、行为分析、安防监控和重点人群监护等。现在每个人都在研究识别，但识别只是计算机视觉的一部分。真正意义上的计算机视觉要超越识别，感知三维环境。我们活在三维空间里，要做到交互和感知，就必须将世界恢复到三维。所以，在识别的基础上，计算机视觉下一步必须走向三维重建2.三维重建定...

原创 GenRe-ShapeHD-master 论文梳理及代码解析

一.Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling1.数据集Train Data ：shapeNet； Classification Data ：ModelNet10 ， ModelNet40

原创 MarrNet: 3D Shape Reconstruction via 2.5D Sketches

一.摘要1.从单一图片进行三维重建需要很强的三维先验知识，因为很少有在真实图片上的标签2.当在合成图片上进行训练时转移到真实图片集会造成域自适应问题领域自适应是与机器学习和转移学习相关的领域。 当我们的目标是从源数据分布中学习在不同（但相关）的目标数据分布上的良好性能模型时，就会出现这种情况。 例如，常见垃圾邮件过滤问题的任务之一在于使模型从一个用户（源分发）适应到接收显着不同的电子邮件（...

原创 TensorMask: A Foundation for Dense Object Segmentation

一.摘要1.基于滑动窗口的目标检测生成稠密，规则网格的bounding-box是很火热的2.相比之下，现代的实例分割方法被后述的方法所主导，它首先检测对象边界框，然后裁剪和分割这些区域，如Mask R-CNN所推广的那样3.object detection中有dense的方法（如yolo，ssd，retinanet），也有R-CNN这类two-stage的方法；然而在instance s...

原创 上采样，重采样和下采样，降采样

一.上采样（重采样）1.上采样就是重采样也就是放大图像，通常使用的目的是（1）使图片达到更高的分辨率（2）再经过pooling后上采样可以放大信息，循环迭代可以不断增强有用信息2. 上采样原理：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。无论缩放图像（下采样）还是放大图像（上采样），采样方式有很多种。如最近邻插值，双线性插值，均值插值...

转载 流形学习 manifold Learning

流形学习是个很广泛的概念。这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法。自从2000年以后，流形学习被认为属于非线性降维的一个分支。众所周知，引导这一领域迅速发展的是2000年Science杂志上的两篇文章: Isomap and LLE (Locally Linear Embedding)。流形学习的基本概念那流形学习是什莫呢？为了好懂，我尽可能应用少的数学概念来...

原创 Point Attention Network for Semantic Segmentation of 3D Point Clouds 论文解析

一.摘要1.在稀疏的三维点云上直接利用经典的卷积核或参数共享机制是低效的，因为它们具有不规则性和无序性（卷积核对应着点云的无序性，参数共享对应着点云的混乱性–（稠密和稀疏））2.由于相邻点的几何分布不受点序的影响，提出了一种基于多方向搜索的邻域点的局部注意边卷积算法3.我们将注意系数分配到每条边，然后将点特征作为其相邻点的加权和进行聚合。然后将学习到的LAE-Conv层特征赋予点向空间注意模...

原创 3DCNN:3D Convolutional Neural Networks for Human Action Recognition

一.解决的问题1.卷积神经网络(CNNs)是一种能够直接作用于原始输入的深度学习模型，从而实现了特征构建过程自动化。2.这些模型目前仅限于处理2D输入。在这篇论文中，我们开发了一个新颖的3D CNN动作识别模型。3.该模型通过三维卷积从空间和时间两方面提取有限元数据，从而捕获多个相邻帧的运动信息。所建立的模型从输入帧中生成多个信息通道，通过对各通道的信息进行融合得到最终的特征表示。将所建立的...

原创 DGCNN(Edge Conv) : Dynamic Graph CNN for Learning on Point Clouds

论文地址一.网络结构图示例首先，本文开门见山给出网络结构图，以及non-local的思想，简单来说就是相似特征不一定是在local局域内，再来介绍了作者提出的核心方法EdgeConv，下面是EdgeConv的优点：（1）它整合了当地的邻近点的信息（2）它通过叠加当前点逐渐学习全局形状属性（3）在经过多层迭代更好的捕捉到潜在的远距离相似特征二.Introduction1.考虑到网格重...

原创 3D GAN：Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling

一.Abstract1.提出了一个新的框架，即3D生成对抗网络(3D- gan)，它利用体卷积网络和生成对抗网络的最新进展，从概率空间生成三维对象.2.首先，使用对抗准则代替传统的启发式准则，使生成器能够隐式地捕获对象结构，并同步大小相同的高质量3D对象.3.生成器G建立了一个从低维概率空间到三维对象空间的映射，使我们可以在没有参考图像或CAD模型的情况下对对象进行采样，并探索三维对象流形....

原创 梯度下降法(GD，SGD)总结

一.梯度下降法梯度下降法是求解无约束最优化问题的一种最常用的方法假设f（x）为一阶连偏导数的函数minx∈Rnf(x)min_{x \in R^n} f(x)minx∈Rn​f(x)梯度下降法是一种迭代算法，选取适当的初值x0，不断迭代，更新x的值，进行最小化，直到收敛x(k+1)=x(k)+λkpkx^{(k+1)} = x^{(k)}+\lambda_k p_kx(k+1)=x(k...

原创 PointNet++：Deep Hierarchical Feature Learning on Point Sets in a Metric Space 论文解析

一.Abstrcat一.Abstract1.pointNet是在该领域先驱者但是它不能在多尺度下捕获局部结构信息，对于细粒度的识别任务以及复杂场景的泛化能力都有限制2.PointNet++提出了分层神经网络，应用PointNet递归的分区点云数据...

原创 PointNet:Deep Learining on Point Sets for 3D Classification and Segmentation 论文解析

一. Abstract二.Introduction 三.Related Work四.Deep Learning on Point Sets五.Theoretical Analysis六.Experiment一.Abstract1.首先点云是一种重要几何数据结构的类型。2.以往处理点云的方法：鉴于点云的不规则形式可以将点云转换为3D体素网格或者图片集。3.存在的缺点：造成大量的...

原创 Stacked Hourglass Networks for Human Pose Estimation - HourGlass

一.Stacked Hourglass Networks for Human Pose Estimation — HourGlass（沙漏网络）1. 摘要本文通过沙漏网络将特征在所有的尺度上被处理和整合，以最好地捕获与身体相关的各种空间关系，通过重复的自底向上、自顶向下处理与中间监督结合使用，从而提高网络的性能，在FLIC和MPII数据集测试上取得的最先进的结果超过了所有最新的方法2.整体网...

原创 统计学习方法 --- 逻辑斯谛回归与最大熵模型

一.逻辑斯谛回归模型1.逻辑斯谛分布函数（logistic distribution）: u为位置参数，y>0为形状参数---------->u控制下图对称中心点的X坐标值，y控制在中心附近增长速度的快慢。例如u=1，y=2的函数图像为红色曲线所示F(X)=P（X<=x）=11+e−(x−u)/yF(X)=P（X<=x）=\frac{1}{1+e^{-...

原创 统计学习方法 --- 决策树

一.决策树模型：决策树由结点和有向边组成，内部结点表示一个特征或属性，外部一个结点表示一个类。决策树学习常用的算法有ID3，C4.5，CART二.信息增益熵是表示随机变量不确定性的度量P(X=xi)=pi,则随机变量X的熵定义为：H(x)=−∑i=1npilogpi,P(X=1)=P,P(X=0)=1−p,H(P)=−plog2p−(1−p)log2(1−p)P(X=x_i)=p_i,则...

原创 统计学习方法 ---朴素贝叶斯

一.基本方法1.联合概率分布：P（X=x∣Y=ck）=P(X(1)=x(1),...,X(n)=x(n)∣Y=ck)=∏j=1nP(X(j)=x(j)∣Y=ck),k=1,2,...,KP（X=x | Y=c_k）=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)} | Y=c_k)=\prod_{j=1}^nP(X^{(j)}=x^{(j)} | Y=c_k),k=1,...

原创 统计学习方法 --- k近邻法

一.k近邻算法二.k近邻模型xi,xj的Lp距离定义Lp(xi,xj)=(∑i=1n∣xi(l)−xj(l)∣p)1/px_i,x_j的L_p距离定义L_p(x_i,x_j)=(\sum_{i=1^n} |x_i^{(l)}-x_j^{(l)}|^p)^{1/p}xi​,xj​的Lp​距离定义Lp​(xi​,xj​)=(∑i=1n​∣xi(l)​−xj(l)​∣p)1/p当p=2时称为欧氏...

原创 统计学习方法 --- 感知机

一.感知机模型1.感知机是一种线性分类模型，属于判别模型二.感知机学习策略BP算法：minw,bL(w,b)=−∑x∈Myi(w.xi+b)min_{w,b}L(w,b)=-\sum_{x\in M} y_i(w.x_i+b)minw,b​L(w,b)=−∑x∈M​yi​(w.xi​+b)▽wL(w,b)=−∑yixi\bigtriangledown_wL(w,b)= -\sum y_ix...

原创 统计学习方法 --- 统计学习方法概论

一.基本概念统计学习的对象是数据1.统计学习关于数据的基本假设是同类数据具有一定的统计规律性，所以可以用概率统计方法来加以处理（服从XX分布）2.输入空间，输出空间，特征空间，空间可以是有限元素的集合，也可以是整个欧式空间欧式空间与非欧式空间的区别：一条直线L和不在L上的点P，经过P点平行于L的线有几条？在欧式空间中，这个问题显然是“只有一条”，然而在非欧空间中，这个问题就不一定了。...

原创 GAN （生成对抗网络 ）学习笔记之 Introduction

GAN（generative adversarial network）生成对抗网络1.总览2.Basic Idea of GAN给出GAN的比喻和问题：Step 1固定生成网络G，更新区别网络D第一次迭代，将下图的sample丢进D中训练使其得分越来越接近1，将G生成 图片丢进D中使其得分越来越接近0。用上述的sample训练后，如果一直按照G生成图片来，迭代后，会出现好的图...

原创 PCA，SVD，TD 张量分解的原理区别联系

1.Principal components analysis（主成分分析）1.1Principal components analysis 基本原理首先我们先来看主成分分析的步骤：假设我们有P个n维数据样本D，样本的值为[V1,V2,…,Vn]要把他们降维到m维（m<n）（1）求出所有数据样本的平均值S‾=1/n∑i=1nVi\overline S=1/n\sum_{i=1}^{n...

原创 FaceWarehouse: a 3D Facial Expression Database for Visual Computing 论文解析

FaceWarehouse: a 3D Facial Expression Databasefor Visual Computing一.摘要二.FaceWareHouse的应用场景三.FaceWareHouse一. 摘要1.数据集：使用Kinect的RGBD相机，来捕捉150名来自不同种族背景的7-80岁的个体，对于每个人，我们采集了她不同表情的RGBD数据，包括中性表情和其他19个表...

原创 A Morphable Model For The Synthesis Of 3D Faces 论文解析 3DMM

A Morphable Model For The Synthesis Of 3D Faces1.摘要      本文介绍了一种新的三维纹理人脸建模技术。3D人脸可以从一张或多张照片中自动生成。通过3D人脸模型数据库生成人脸可形变模型，输入的2D图片经过人脸分析匹配到相应的3D人脸形变模型，再通过一定的调整生成3D输出。2.3D...

转载 范数及能量最小原理（转自:三眼二郎）

没学好矩阵代数的估计范数也不是太清楚，当然学好的人也不是太多。范数主要是对矩阵和向量的一种描述，有了描述那么“大小就可以比较了”，从字面理解一种比较构成规范的数。有了统一的规范，就可以比较了。例如：1比2小我们一目了然，可是（3,5,3）和（6,1,2）哪个大？不太好比吧2范数比：根号（43）比根号（41）大，因此2范数对比中（3,5,3）大无穷范数比：5比6小，因此无穷范数对比中（6,1...

原创 STN -Spatial Transformer Networks 空间转换网络

1.Comprehensive narrative（综述部分）（1）CNN网络有一个显著的缺点就是对于识别数据缺少一定的空间转换能力，比如你正着，斜着，倒着看你自己的水杯都可以知道这是你的水杯而CNN却不一定行。如下图：你一定知道这全部是数字2（谁要说看不出来这是2，同学你太调皮了==）你一定知道这全部是数字4 ！（谁要说看不出来这是4，拉走 train）基于上述的原因，本文作者给出了...

原创 CNN改进：Drop an Octave Reducing Spatial Redundancy in CNN - Octave Convolution论文解析

1.Comprehensive narrative（综述部分）首先这篇paper主要是讲讲普通的CNN卷积特征图分为两个部分 也就是将convolution kernel分为4个部分（1）首先卷积特征图被分为两个部分：如下图=-=高空间频率部分卷积（也就是图像的边缘和轮廓）低空间频率部分卷积（也就是强度综合部分）（2）卷积核的四个部分：如下图=-=（3）补充一下频率方面的知识 ...

原创 人脸关键点对齐：Pose-Invariant Face Alignment via CNN-Based Dense 3D Model Fitting 论文解析

1.摘要部分1.为什么要提出姿态不变的人脸对齐 姿态不变的人脸对齐在CV中占据着非常重要的地位，在脸部分析中人脸对齐是一个首要必备的条件。例如人脸重建，表情重建和3D人脸重建。2.论文中提出的方法在这篇论文中，大神提出了3DMM匹配算法并用C-CNN回归相机投影矩阵参数（m），以及3DMM的appearance参数（p）以及提供了镜像约束作为loss函数。2. Introductio...

原创 深度学习：基于TensorFlow的双层BiDirection_Attention_LSTM的北京PM2.5数据集预测

基于TensorFlow的双层BiDirection_Attention_LSTM的北京PM2.5数据集预测预测北京PM2.5数据集你会学到：传统的线性模型难以解决多变量或多输入问题，而神经网络如LSTM则擅长于处理多个变量的问题，该特性使其有助于解决时间序列预测问题。　　　　在接下来的这篇博客中，你将学会如何利用深度学习库Keras搭建LSTM模型来处理多个变量的时间序列预测问题。　　...