qq_44703968的博客

近年来，基于手静脉模式的生物特征识别正受到业界和学术界越来越多的关注，这是因为它与传统的方法(如依赖指纹、虹膜或面部的方法)相比具有优势。然而，仍有一些性质的静脉性状需要研究和充分了解。在这篇论文中，我们在这里分析了相似的水平，评估生物识别系统的识别率，在手指，手掌和一个人的左手和右手的背静脉模式。换句话说，我们分析一个被试者，用一只手的静脉模式，手指静脉，手掌静脉，背静脉，是否可以用另一只手的对应模式来识别。我们的研究使用基于深度学习的特征提取方法、三种不同的静脉模式和四个不同的数据库进行。

智能移动设备的日益普及和基于深度学习的模型令人生畏的计算成本要求高效和准确的设备上推理方案。我们提出了一种量化方案，它允许使用纯整数算法进行推理，这比在常用的纯整数硬件上实现浮点推理更有效。我们还共同设计了一个训练程序，以保持量化后的端到端模型精度。因此，提出的量化方案改善了准确性和设备上延迟之间的权衡。即使是在以运行时效率著称的模型系列MobileNets上，改进也是显著的，并在流行的cpu上的ImageNet分类和COCO检测中得到了证明。目前最先进的卷积神经网络(CNNs)并不适合在移动设备上使用。

高效的深度神经网络(DNN)模型配备了紧凑的算子(如深度卷积)，在降低DNN的理论复杂性(如权值/操作的总数)的同时保持良好的模型精度方面显示出了巨大的潜力。然而，现有的高效dnn由于其普遍采用的紧凑型操作器的硬件利用率较低，在实现其提高实硬件效率的承诺方面仍然受到限制。在这项工作中，我们为开发实际硬件高效的dnn开辟了一种新的压缩范式，在保持模型精度的同时提高了硬件效率。有趣的是，我们观察到，虽然一些DNN层的激活函数有助于DNN的训练优化和可达到的精度，但它们可以在训练后适当去除，而不影响模型精度。

为了减轻深度学习算法在实际应用中庞大的参数量和繁重的计算量, 剪枝已经被广泛地应用在模型压缩任务中. 然而, 大多数剪枝方法仅仅利用已经训练好的模型参数作为训练的初始参数, 而模型本身的特征信息没有被利用. 为此, 本文提出了一种基于模型特征学习增强的动态剪枝方法, 在训练过程中, 提出的方法不需要数据集类别标签. 一方面, 本文利用基准模型(训练好的模型)输出的预测类别信息和中间层特征作为监督信息指导压缩子模型的任务学习, 增强了压缩模型学习基准模型特征的能力;另一方面, 本文利用不同压缩子模型的输出信。

提高几乎所有机器学习算法性能的一个非常简单的方法是在相同的数据上训练许多不同的模型，然后对其预测进行平均化[3]。不幸的是，使用整个模型集合进行预测是很麻烦的，而且计算成本太高，不允许部署到大量的用户，特别是如果单个模型是大型神经网络。Caruana和他的合作者已经表明，有可能将集合的知识压缩到一个单一的模型中，这样更容易部署，我们使用不同的压缩技术进一步发展这种方法。

脸部图像特征代表着重要的用户隐私问题。在现有的隐私保护方法下，人脸图像不能被私下转移，而且各种社交网络的数据分布也不均匀。本文提出了一种基于联合学习和集合模型的人脸图像隐私保护方法。通过联合学习的方式建立了一个基于分布式数据集的联合学习模型。在客户端，通过本地人脸数据训练得到一个本地人脸识别模型，并作为PcadvGAN的输入，对PcadvGAN进行多轮训练。在服务器端，建立了一个基于差分进化算法的参数聚合器作为PcadvGAN服务器的判别器，并同时集合了一个客户端的面部识别模型。

无监督域自适应被广泛应用于推广目标域中无标记数据的模型，前提是源域中有标记数据，且其数据分布与目标域不同。然而，现有的工作由于需要在两个域之间共享敏感的人脸图像，因此不适用于隐私约束下的人脸识别。针对这一问题，我们提出了一种新的无监督联邦人脸识别方法(FedFR)。federfr通过联合学习迭代地聚合来自源域的知识，从而提高目标域中的性能。它通过在域之间传输模型而不是原始数据来保护数据隐私。此外，我们提出了一种新的域约束损失(DCL)来正则化源域训练。DCL抑制源域的数据量优势。

目前，基于深度学习的掌纹识别方法已经取得了很大的成功。然而，在实际应用中更重要的是隐私问题，他们主要关注的是准确性而忽略了隐私问题。在这封信中，提出了一种新的方法，联邦哈希学习(FHL)，用于隐私掌纹识别。在不同的社区中部署了几个代理，它们具有不同的模型和私有数据。引入一个可用的公共数据集，为每个代理提供通信。通过适当的联合损耗，将各代理连接起来，互相帮助训练模型，提高精度。在有约束和无约束掌纹基准测试上进行了实验。结果表明，该方法的性能优于其他基线，具有较高的准确性。

联邦学习 (FL) 范式可以极大地解决公众对人脸识别中数据隐私日益增长的担忧。然而，由于任务的独特性，传统的 FL 方法表现不佳：在客户端之间广播类中心对于识别性能至关重要，但会导致隐私泄露。为了解决隐私-效用悖论，这项工作提出了 PrivacyFace，这是一个框架，通过在客户端之间交流辅助信息和隐私不可知信息，极大地改进了联合学习人脸识别。PrivacyFace 主要由两个部分组成：首先，提出了一种实用的差分私有局部聚类 (DPLC) 机制，以从局部类中心提取经过净化的聚类。

随着深度学习的快速发展,人脸识别准确率显着提高。然而，训练人脸识别模型需要将私人数据收集到中央服务器，以获得所需领域的高性能。由于联邦学习是一种在不向服务器收集数据的情况下训练模型的技术，因此它是一种合适的架构，可以使用个人智能手机中保存的隐私敏感面部图像来训练面部识别模型。本研究提出了将联邦学习应用于人脸识别模型训练的策略。为了训练人脸识别模型，需要通过收集来自同一域的数据来构建训练数据集，即输入的分布。数据集构建的第一个选项是使用开放式面部数据集。网上有很多人脸数据集，每个数据集的数据量也足够大。

我们提出了一个代号为Inception的深度卷积神经网络架构，在ImageNet大型视觉识别挑战赛2014（ILSVRC14）中实现了分类和检测的新技术水平。该架构的主要标志是提高了网络内部计算资源的利用率。通过精心设计，我们增加了网络的深度和宽度，同时保持计算预算不变。为了优化质量，架构的决定是基于Hebbian原则和多尺度处理的直觉。我们为ILSVRC14提交的文件中使用的一个特殊化身被称为GoogLeNet，这是一个22层的深度网络，其质量是在分类和检测的背景下评估的。

我们训练了一个大型的深度卷积神经网络，将ImageNet LSVRC-2010竞赛中的120万张高分辨率图像分为1000个不同的类。在测试数据上，我们实现了37.5%和17.0%的top-1和top-5错误率，这比之前的最先进的技术要好得多。该神经网络有6000万个参数和65万个神经元，由5个卷积层组成，其中一些层后面是最大池化层，还有3个全连接层，最后是1000路软最大。为了提高训练速度，我们使用了非饱和神经元和卷积运算的一个非常高效的GPU实现。

在这项工作中，我们研究了卷积网络深度对其在大规模图像识别环境中的准确性的影响。我们的主要贡献是使用一个具有非常小的（3×3）卷积滤波器的架构对深度增加的网络进行了彻底的评估，这表明通过将深度推到16-19个权重层可以实现对先有技术配置的显著改善。这些发现是我们提交ImageNet挑战赛2014的基础，我们的团队分别在定位和分类赛道上获得了第一和第二名。我们还表明，我们的表征在其他数据集上有很好的通用性，它们在那里取得了最先进的结果。

深度学习允许由多个处理层组成的计算模型学习具有多个抽象层次的数据表示。这些方法极大地提高了语音识别、视觉物体识别、物体检测和许多其他领域（如药物发现和基因组学）的先进水平。深度学习通过使用反向传播算法来指出机器应该如何改变其内部参数，这些参数用于从上一层的表征中计算每一层的表征，从而发现大数据集中的复杂结构。深度卷积网在处理图像、视频、语音和音频方面带来了突破，而递归网则在文本和语音等顺序数据方面大放异彩。

在本文中，我们提出了一种新的哈希方法来学习紧凑的二进制代码，以便在大规模数据集上进行高效的图像检索。设计了一种 CNN 架构，将成对的图像（相似/不相似）作为训练输入，并鼓励每个图像的输出接近离散值（例如 +1/-1）。设计了一个损失函数，通过对来自输入图像对的监督信息进行编码，同时对实值输出进行正则化以逼近所需的离散值，从而最大化输出空间的可辨别性。对于图像检索，新出现的查询图像可以通过网络传播轻松编码，然后将网络输出量化为二进制代码表示。