- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 卷积神经网络公式推导及numpy实现
本文主要侧重于网络的代码实现，具体的公式推导可参考：https://zhuanlan.zhihu.com/p/61898234完整代码：https://github.com/hui126/Deep_Learning_Coding/blob/main/Conv.py卷积神经网络可以看作是感知机网络的拓展，神经元的数目等于图像的通道数，输入到网络中的值由向量变为张量，与感知机网络最大的不同在于使用权值共享，即每一通道卷积运算过程中共享使用一个卷积核。前向传递基于numpy，假设输入特征图aaa维度为(1
2021-06-03 10:47:54
355
原创 MLP公式推导及numpy实现
文章目录全连接神经网络公式推导及numpy实现1. 预备知识1.1 链导法则1.2 Sigmoid激活函数1.3 Softmax激活函数1.4 交叉熵损失2. 前向传播3. 梯度反向传播4. 训练流程5. 代码实现全连接神经网络公式推导及numpy实现全连接神经网络由输入层、隐藏层和输出层组成，隐藏层通常有多层，输出层神经元数目与具体任务有关。使用激活函数进行非线性化，增强网络的拟合表征能力，常见的激活函数有ReLU、Sigmoid及Softmax等。本文将推导全连接网络的前向及反向传播公式，并使用n
2021-06-02 17:13:53
3473
原创 人脸隐私：5.IdentityDP
IdentityDP: Differential Private Identification Protection for Face Image现有的人脸去识别技术要么生成图像真实性不足，要么无法平衡隐私性和效用。聚焦于这些挑战，我们提出了IdentityDP模型框架，将一个数据驱动的深度神经网络与差分隐私机制相结合。该框架主要包含三个阶段：人脸表征解纠缠；ϵ−\epsilon-ϵ−IdentityDP扰动；图像重建。该模型能够有效模糊人脸的身份相关信息，保留重要的视觉相似性；生成高质量图像能够用于身份
2021-05-24 16:15:43
1202
1
原创 人脸隐私：4.Face Identity Transformers
Password-conditioned Anonymization and Deanonymization with Face Identity Transformers提出一种新的人脸身份转换模块，能够对视觉库中的人脸进行自动的基于密码的匿名化和去匿名化操作。主要目的有三个：1.在匿名化后移除人脸身份信息；2.当给定正确密码时能够恢复原人脸；3.在给定一个错误密码时返回一张错误且真实人脸。实验表明，与现有匿名化方法相比，我们的方法能够在不牺牲隐私性的情况下进行多模式基于密码的匿名化和去匿名化操作。
2021-05-16 19:18:46
1103
3
原创 人脸隐私：3.APF
Adversarial Privacy-preserving Filter提出一种端云协同对抗攻击解决方案以满足隐私性、实用性和不可访问性的需求。该解决方案主要由三个模块组成：图像特定的梯度生成，在客户端使用压缩探针模型提取图像特定的梯度；对抗梯度转换，微调在服务器中的图像特定的梯度；通用对抗扰动增强，附加与图像无关的扰动以得出最终的对抗性噪声。本文的目的是在不影响用户照片分享体验的前提下保护用户肖像隐私，需要满足两点：隐私性，无法从分享的人脸图像中获取识别信息；实用性，不能破环图像的质量。
2021-05-13 18:12:19
511
原创 人脸隐私：2.AnonymousNet
AnonymousNet: Natural Face De-Identification with Measurable Privacy现有的人脸图像去识别技术要么生成图像不够真实，要么在定性和定量上无法平衡隐私和可用性。本文提出的AnonymousNet框架用以解决上述问题，以一种自然且可测量的方式来平衡可用性和增强隐私性。框架分为四个阶段：人脸属性估计；以隐私度量为导向的人脸混淆；定向自然图像合成和对抗扰动。实现了最先进的图像质量和属性预测准确率。首次表明人脸隐私是可测量的、可以分解并因此以逼真的方式
2021-05-11 15:29:03
600
原创 人脸识别：3.DeepID2
Deep Learning Face Representation by Joint Identification-VerificationarXiv人脸识别任务的主要挑战是开发有效的特征表征以降低个体内部差异并增加个体间差异。DeepID2从不同的身份提取特征来增大个体间差异，将同一身份的特征聚集在以降低个体内差异。无约束条件下，同一身份的姿态、光照、表情等变化可能会压倒不同身份导致的变化。个体内\间变化是复杂的、高度非线性的，这使得早期方法，如LDA，贝叶斯脸，度量学习效果并不好。同时使用两种监
2021-05-08 15:35:36
499
原创 目标检测：4.MR-CNN
Object detection via a multi-region & semantic segmentation-aware CNN modelarXiv提出一种依赖于多区域深度卷积神经网络的目标检测系统，该网络同时对语义分割感知特征进行编码。基于该网络的表征能够捕获一组具有区别性的外观因素并展现出定位敏感性，这对于精准的目标定位至关重要。将识别模块集成到迭代定位机制上：在对边界框候选打分和使用深度回归模型改善定位之间进行交替。本文主要关注目标检测任务的两点：表征和定位。表征：采用更宽
2021-04-19 15:39:19
462
原创 人脸识别：2.DeepID
Deep Learning Face Representation from Predicting 10,000 Classes通过深度学习学习一组人脸高级特征表示，深度特征可以通过多类人脸识别任务有效学到，模型能够泛化到其他任务（如人脸验证）以及未出现在训练集中的新身份。学习一个分类器在训练集上识别出10,000个人脸身份，沿着特征提取层级逐渐降低神经元数量，逐渐在只有少量隐藏神经元的顶层形成紧致的与身份相关的特征。从人脸的不同区域提取特征形成互补和过完整的表示。训练多个分类器再将特征拼接构成最终的
2021-04-13 11:20:18
290
原创 目标检测：3.SPP-Net
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual RecognitionarXiv现有的卷积深度神经网络需要固定尺寸的图像输入，这可能会降低图像或子图像识别准确率。本文提出了新的池化策略—“空间金字塔池化”，用来消除对固定尺寸的依赖。SPP-net能够生成与图像尺寸无关的固定长度的表征。该方法能够有效提高分类准确率。在目标检测任务中，仅从整个图像计算一次特征图，然后对任意区域进行池化，生成固定长度的表征用于训练检测器，该方
2021-04-12 17:16:14
354
原创 由MLE与MAP推导损失函数和正则化
文章目录1. Introduction2. Efficiency and Consistency of MLE2.1 Cramér-Rao Lower Bound2.2 Efficiency2.3 Consistency3. Deriving Cost Function3.1 Cost Function3.1.1 Mean Squared Error3.1.2 Mean Absolute Error3.1.3 Cross-Entropy3.2 Regularization4. Experiment1. I
2021-04-11 11:53:10
980
原创 Kernel Method: 6.再生核希尔伯特空间理论
6. Reproducing kernel Hilbert Space一个m×mm\times mm×m维的实对称矩阵KKK如果：aTKa≥0\boldsymbol{a}^TK\boldsymbol a\ge0aTKa≥0对任意的a∈Rm\boldsymbol{a}\in\mathbb{R}^ma∈Rm均成立，则KKK称为半正定矩阵。一个实对称矩阵可以对角化。一个实对称矩阵式半正定当且仅当它的所有特征值非负。如果一个函数κ:Rd×Rd→R\kappa:\mathbb{R}^d\times
2021-04-11 09:40:05
393
原创 Kernel Method: 5. 线性回归
文章目录5. Linear Regression Model and Kernel-based Linear Regression Model5.1 Linear Regression Model5.2 Kernel-based Linear Regression5. Linear Regression Model and Kernel-based Linear Regression Model5.1 Linear Regression Model假设：随机变量εn\varepsilon_nεn是满
2021-04-11 09:36:23
1372
1
原创 Kernel Method: 4.支持向量机
文章目录4. Support Vector Machine4.1 Hard-Margin Support Vector Machine4.2 Soft-Margin Support Vector Machine4.3 An Automatic Method for Selecting the Parameter of the RBF Kernel Function to SVM4. Support Vector Machine4.1 Hard-Margin Support Vector Machine
2021-04-11 09:31:37
129
原创 Kernel Method: 3.线性判别分析与广义判别分析
文章目录3. LDA and GDA3.1 Linear Discriminant Analysis3.2 Generalized Discriminant Analysis3. LDA and GDA3.1 Linear Discriminant Analysis寻找一个方向向量满足：投影后的各类均值距离最大投影后每一类的样本与均值的距离最小即增大类均值距离，增大每一类的样本聚集程度。目的是降低样本投影之间的重叠部分，增大可分性LLL：样本类别数目；NiN_iNi：第iii类样本的数
2021-04-11 09:22:28
595
原创 Kernel Method: 2.主成分分析
文章目录2. PCA and Kernel PCA2.1 Principal Component Analysis2.2 Kernel Principal Component Analysis2. PCA and Kernel PCA2.1 Principal Component Analysis假设x1,x2,⋯ ,xN∈Rd\boldsymbol x_1,\boldsymbol x_2,\cdots,\boldsymbol x_N\in\mathbb{R}^dx1,x2,⋯,xN∈Rd是零均
2021-04-11 09:18:29
179
原创 Kernel Method
1. Kernel Method特征映射ϕ:Rd→Rn\phi:\mathbb{R}^d\to\mathbb{R}^nϕ:Rd→Rn将原空间下的变量映射到高维特征空间，例如(x1,x2)↦(z1,z2,z3)=(x12,2x1x2,x22)(x_1,x_2)\mapsto(z_1,z_2,z_3)=(x_1^2,\sqrt{2}x_1 x_2,x_2^2)(x1,x2)↦(z1,z2,z3)=(x12,2x1x2,x22)，其目的是将原空间下的复杂关系在高维空间下简化。核函数是计算原
2021-04-11 09:14:55
123
原创 人脸识别：1.DeepFace
DeepFace: Closing the Gap to Human-Level Performance in Face VerificationCite基于卷积的人脸识别pipeline共有四个阶段：检测→\to→对齐→\to→表征→\to→分类。本文关注于对齐和表征操作：使用显式的3D人脸模型来应用分段线性仿射变换，并使用一个9层的深度神经网络模型来获得人脸表征。与标准卷积层不同，该网络包含120 million参数，并使用一些没有权值共享的局部连接层。训练后的模型再LFW上准确率达到97.35%9
2021-04-10 22:00:12
1884
原创 目标检测：2.MultiBox
MultiBox: Scalable Object Detection using Deep Neural NetworksarXiv在此之前用于定位子任务的深度网络模型在图像中为每一个类别预测一个单一的边界框和一个置信度分数，模型能够获取围绕目标的上下文信息，但是不能处理同一类别的多个实例。本文提出一个用于目标检测的神经网络模型，预测一组类别无关的边界框和对应的分数，该分数表明边界框包含任何感兴趣目标的可能性。该模型可以处理同一类别的多个实例，并允许在网络的最高层进行跨类别泛化。目标检测的通用范式
2021-04-07 14:37:34
461
原创 人脸隐私：1.DeepPrivacy
DeepPrivacyarXiv提出了一种新的架构，能够自动将图像中的人脸匿名化并同时保留原始的数据分布。通过基于信息隐私安全生成图像，确保图像中所有的面孔完全匿名化。模型以条件生成对抗网络为基础，生成图像考虑原始姿态和图像背景。条件信息有助于我们能够生成高度真实的人脸，实现生成人脸和存在背景的无缝连接。引入了一个新的多样性人脸数据集，包含非常规姿态、遮挡人脸和多变的背景信息。基于条件生成对抗网络提出一种新的架构，能够自动将人脸匿名化并保留原始的数据分布。发布了新的多样性人脸数据集现有的解决
2021-04-06 11:10:22
1284
原创 目标检测：1. R-CNN
R-CNN在此之前，目标检测性能最好的方法是复杂的集成系统，通常将多个低级图像特征与高级上下文结合在一起。本文提出了一个简单且可拓展的方法：R-CNN，主要有两点创新：将大容量卷积神经网络用于自底向上的区域提议，以便于定位和分割目标，即使用卷积特征替代原有人工特征。当标签训练数据很少时，先使用辅助任务对模型进行有监督预训练，然后再进行特定领域的微调，可以显著提高性能，即训练+微调。传统特征如SIFT和HOG可以类比于灵长类视觉系统的第一个皮层区域，但是识别通常发生在下游的几个阶段，这表明分层次、
2021-03-28 11:45:10
239
原创 VGG 16前向传播与反向传播公式推导
文章目录VGG 16 公式推导前向传递反向传播梯度计算参数更新VGG 16 公式推导VGG-16共有13层卷积层，5层池化层和3层全连接层，对前两层全连接网络采用dropout和L2正则化防止过拟合，采用批量梯度下降+Momentum以交叉熵为目标损失进行训练优化。nln^lnl—第lll层网络节点（卷积核）数目；kp,qlk_{p,q}^lkp,ql—第lll层ppp通道与第l−1l-1l−1层qqq通道对应卷积核；bplb_p^lbpl—第lll层ppp节点（通道）的偏置；
2020-08-19 17:20:14
2732
原创 阅读笔记：Fwakes
ContentsAbstract1 Introduction2 Background and Related Work2.1 Protecting Privacy via Evasion Attacks2.2 Protecting Privacy via Poisoning Attacks2.3 Other Related Work3 Protecting Privacy via Cloaking3.1 Assumptions and Threat Model3.2 Overview and Intuiti
2020-08-18 11:52:04
1147
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人