- 博客(36)
- 收藏
- 关注
原创 YOLO学习系列
模型的三个主要部分:Backbone(主干网络)、Neck(颈部网络)和 Head(头部网络),以及它们的子模块和连接方式。模型结构解释。
2024-04-11 16:05:33
876
原创 生物特征识别中手静脉模式的主体内相似性研究
近年来,基于手静脉模式的生物特征识别正受到业界和学术界越来越多的关注,这是因为它与传统的方法(如依赖指纹、虹膜或面部的方法)相比具有优势。然而,仍有一些性质的静脉性状需要研究和充分了解。在这篇论文中,我们在这里分析了相似的水平,评估生物识别系统的识别率,在手指,手掌和一个人的左手和右手的背静脉模式。换句话说,我们分析一个被试者,用一只手的静脉模式,手指静脉,手掌静脉,背静脉,是否可以用另一只手的对应模式来识别。我们的研究使用基于深度学习的特征提取方法、三种不同的静脉模式和四个不同的数据库进行。
2022-11-26 20:06:47
702
1
原创 高效整数运算推理神经网络的量化与训练
智能移动设备的日益普及和基于深度学习的模型令人生畏的计算成本要求高效和准确的设备上推理方案。我们提出了一种量化方案,它允许使用纯整数算法进行推理,这比在常用的纯整数硬件上实现浮点推理更有效。我们还共同设计了一个训练程序,以保持量化后的端到端模型精度。因此,提出的量化方案改善了准确性和设备上延迟之间的权衡。即使是在以运行时效率著称的模型系列MobileNets上,改进也是显著的,并在流行的cpu上的ImageNet分类和COCO检测中得到了证明。目前最先进的卷积神经网络(CNNs)并不适合在移动设备上使用。
2022-11-26 15:55:54
601
原创 深度收缩器:一种提高紧凑神经网络实硬件效率的新压缩范式
高效的深度神经网络(DNN)模型配备了紧凑的算子(如深度卷积),在降低DNN的理论复杂性(如权值/操作的总数)的同时保持良好的模型精度方面显示出了巨大的潜力。然而,现有的高效dnn由于其普遍采用的紧凑型操作器的硬件利用率较低,在实现其提高实硬件效率的承诺方面仍然受到限制。在这项工作中,我们为开发实际硬件高效的dnn开辟了一种新的压缩范式,在保持模型精度的同时提高了硬件效率。有趣的是,我们观察到,虽然一些DNN层的激活函数有助于DNN的训练优化和可达到的精度,但它们可以在训练后适当去除,而不影响模型精度。
2022-11-23 15:24:46
475
原创 基于动态稀疏和特征学习增强的模型剪枝
为了减轻深度学习算法在实际应用中庞大的参数量和繁重的计算量, 剪枝已经被广泛地应用在模型压缩任务中. 然而, 大多数剪枝方法仅仅利用已经训练好的模型参数作为训练的初始参数, 而模型本身的特征信息没有被利用. 为此, 本文提出了一种基于模型特征学习增强的动态剪枝方法, 在训练过程中, 提出的方法不需要数据集类别标签. 一方面, 本文利用基准模型(训练好的模型)输出的预测类别信息和中间层特征作为监督信息指导压缩子模型的任务学习, 增强了压缩模型学习基准模型特征的能力;另一方面, 本文利用不同压缩子模型的输出信。
2022-11-22 21:36:14
1007
1
原创 在神经网络中提炼知识
提高几乎所有机器学习算法性能的一个非常简单的方法是在相同的数据上训练许多不同的模型,然后对其预测进行平均化[3]。不幸的是,使用整个模型集合进行预测是很麻烦的,而且计算成本太高,不允许部署到大量的用户,特别是如果单个模型是大型神经网络。Caruana和他的合作者已经表明,有可能将集合的知识压缩到一个单一的模型中,这样更容易部署,我们使用不同的压缩技术进一步发展这种方法。
2022-11-21 21:36:11
743
原创 基于联合学习和集合模型的可转移面部图像隐私保护
脸部图像特征代表着重要的用户隐私问题。在现有的隐私保护方法下,人脸图像不能被私下转移,而且各种社交网络的数据分布也不均匀。本文提出了一种基于联合学习和集合模型的人脸图像隐私保护方法。通过联合学习的方式建立了一个基于分布式数据集的联合学习模型。在客户端,通过本地人脸数据训练得到一个本地人脸识别模型,并作为PcadvGAN的输入,对PcadvGAN进行多轮训练。在服务器端,建立了一个基于差分进化算法的参数聚合器作为PcadvGAN服务器的判别器,并同时集合了一个客户端的面部识别模型。
2022-11-20 21:16:16
504
原创 基于联邦学习的隐私约束下深度人脸识别无监督域适应研究
无监督域自适应被广泛应用于推广目标域中无标记数据的模型,前提是源域中有标记数据,且其数据分布与目标域不同。然而,现有的工作由于需要在两个域之间共享敏感的人脸图像,因此不适用于隐私约束下的人脸识别。针对这一问题,我们提出了一种新的无监督联邦人脸识别方法(FedFR)。federfr通过联合学习迭代地聚合来自源域的知识,从而提高目标域中的性能。它通过在域之间传输模型而不是原始数据来保护数据隐私。此外,我们提出了一种新的域约束损失(DCL)来正则化源域训练。DCL抑制源域的数据量优势。
2022-11-20 20:55:02
1962
原创 通过联邦哈希学习实现隐私掌纹识别
目前,基于深度学习的掌纹识别方法已经取得了很大的成功。然而,在实际应用中更重要的是隐私问题,他们主要关注的是准确性而忽略了隐私问题。在这封信中,提出了一种新的方法,联邦哈希学习(FHL),用于隐私掌纹识别。在不同的社区中部署了几个代理,它们具有不同的模型和私有数据。引入一个可用的公共数据集,为每个代理提供通信。通过适当的联合损耗,将各代理连接起来,互相帮助训练模型,提高精度。在有约束和无约束掌纹基准测试上进行了实验。结果表明,该方法的性能优于其他基线,具有较高的准确性。
2022-11-19 20:55:58
483
原创 通过与隐私无关的集群改进联合学习人脸识别
联邦学习 (FL) 范式可以极大地解决公众对人脸识别中数据隐私日益增长的担忧。然而,由于任务的独特性,传统的 FL 方法表现不佳:在客户端之间广播类中心对于识别性能至关重要,但会导致隐私泄露。为了解决隐私-效用悖论,这项工作提出了 PrivacyFace,这是一个框架,通过在客户端之间交流辅助信息和隐私不可知信息,极大地改进了联合学习人脸识别。PrivacyFace 主要由两个部分组成:首先,提出了一种实用的差分私有局部聚类 (DPLC) 机制,以从局部类中心提取经过净化的聚类。
2022-11-19 20:45:12
382
原创 Federated Learning for Face Recognition
随着深度学习的快速发展,人脸识别准确率显着提高。然而,训练人脸识别模型需要将私人数据收集到中央服务器,以获得所需领域的高性能。由于联邦学习是一种在不向服务器收集数据的情况下训练模型的技术,因此它是一种合适的架构,可以使用个人智能手机中保存的隐私敏感面部图像来训练面部识别模型。本研究提出了将联邦学习应用于人脸识别模型训练的策略。为了训练人脸识别模型,需要通过收集来自同一域的数据来构建训练数据集,即输入的分布。数据集构建的第一个选项是使用开放式面部数据集。网上有很多人脸数据集,每个数据集的数据量也足够大。
2022-11-19 20:23:03
375
原创 Going Deeper with Convolutions
我们提出了一个代号为Inception的深度卷积神经网络架构,在ImageNet大型视觉识别挑战赛2014(ILSVRC14)中实现了分类和检测的新技术水平。该架构的主要标志是提高了网络内部计算资源的利用率。通过精心设计,我们增加了网络的深度和宽度,同时保持计算预算不变。为了优化质量,架构的决定是基于Hebbian原则和多尺度处理的直觉。我们为ILSVRC14提交的文件中使用的一个特殊化身被称为GoogLeNet,这是一个22层的深度网络,其质量是在分类和检测的背景下评估的。
2022-11-19 18:03:24
308
原创 基于深度卷积神经网络的ImageNet分类
我们训练了一个大型的深度卷积神经网络,将ImageNet LSVRC-2010竞赛中的120万张高分辨率图像分为1000个不同的类。在测试数据上,我们实现了37.5%和17.0%的top-1和top-5错误率,这比之前的最先进的技术要好得多。该神经网络有6000万个参数和65万个神经元,由5个卷积层组成,其中一些层后面是最大池化层,还有3个全连接层,最后是1000路软最大。为了提高训练速度,我们使用了非饱和神经元和卷积运算的一个非常高效的GPU实现。
2022-11-19 17:49:59
1211
原创 用于大规模图像识别的极深层卷积网络
在这项工作中,我们研究了卷积网络深度对其在大规模图像识别环境中的准确性的影响。我们的主要贡献是使用一个具有非常小的(3×3)卷积滤波器的架构对深度增加的网络进行了彻底的评估,这表明通过将深度推到16-19个权重层可以实现对先有技术配置的显著改善。这些发现是我们提交ImageNet挑战赛2014的基础,我们的团队分别在定位和分类赛道上获得了第一和第二名。我们还表明,我们的表征在其他数据集上有很好的通用性,它们在那里取得了最先进的结果。
2022-11-19 17:28:48
361
原创 深度学习综述
深度学习允许由多个处理层组成的计算模型学习具有多个抽象层次的数据表示。这些方法极大地提高了语音识别、视觉物体识别、物体检测和许多其他领域(如药物发现和基因组学)的先进水平。深度学习通过使用反向传播算法来指出机器应该如何改变其内部参数,这些参数用于从上一层的表征中计算每一层的表征,从而发现大数据集中的复杂结构。深度卷积网在处理图像、视频、语音和音频方面带来了突破,而递归网则在文本和语音等顺序数据方面大放异彩。
2022-11-19 16:43:43
636
原创 用于快速图像检索的深度监督哈希
在本文中,我们提出了一种新的哈希方法来学习紧凑的二进制代码,以便在大规模数据集上进行高效的图像检索。设计了一种 CNN 架构,将成对的图像(相似/不相似)作为训练输入,并鼓励每个图像的输出接近离散值(例如 +1/-1)。设计了一个损失函数,通过对来自输入图像对的监督信息进行编码,同时对实值输出进行正则化以逼近所需的离散值,从而最大化输出空间的可辨别性。对于图像检索,新出现的查询图像可以通过网络传播轻松编码,然后将网络输出量化为二进制代码表示。
2022-11-18 20:56:41
1135
1
原创 神经网络与深度学习学习笔记6
记忆网络,也称为反馈网络,网络中的神经元不但可以接收其他神经元的信息,也可以接收自己的历史信息.和前馈网络相比,记忆网络中的神经元具有记忆功能,在不同的时刻具有不同的状态.记忆神经网络中的信息传播可以是单向或双向传递,因此可用一个有向循环图或无向图来表示.记忆网络包括循环神经网络(第6章)、Hopfield 网络、玻尔兹曼机、受限玻尔兹曼机等.。前馈网络可以看作一个函数,通过简单非线性函数的多次复合,实现输入空间到输出空间的复杂映射.这种网络结构简单,易于实现.。
2022-09-19 19:53:56
225
原创 神经网络与深度学习学习笔记5
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。
2022-09-18 19:25:09
170
原创 神经网络与深度学习学习笔记4
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。特征选择和特征抽取的优点是可以用较少的特征来表示原始特征中的大部分相关信息,去掉噪声信息,并进而提高计算效率和减小维度灾难(Curse of Dimensionality).对于很多没有正则化的模型,特征选择和特征抽取非常必要. 经过特征选择或特征抽取后,特征的数量一般会减少,因此特征选择和特征抽取也经常称为维数约减或降维(Dimension Reduction)
2022-09-18 18:39:41
139
原创 神经网络与深度学习学习笔记3
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。
2022-09-18 18:19:55
76
原创 神经网络与深度学习学习笔记2
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。
2022-09-18 12:22:06
117
原创 操作系统1
学好操作系统有利于我们深入理解计算机底层,这样平时在遇到疑难杂症时,能够更容易看到问题的本质,并高效解决;另外操作系统里的很多优秀的设计思想、经典的架构、算法、思路也值得我们反复理解和思考,很多思想在平时的工作中也可以借鉴和运用。现代计算机之父冯诺伊曼最先提出程序存储的思想,并成功将其运用在计算机的设计之中,该思想约定了用二进制进行计算和存储,还定义计算机基本结构为 5 个部分,分别是中央处理器(CPU)、内存、输入设备、输出设备、总线。存储器:代码跟数据在RAM跟ROM中是线性存储, 数据存储的单位是
2022-06-29 10:34:08
137
原创 多节点Linux环境打造(Windows版本)
物理宿主机系统:Windows 10虚拟机软件:VMware Workstation 16版本CentOS操作系统ISO镜像:CentOS 7.4 64位SSH终端软件:SecureCRTSFTP文件传输工具:SecureFX首先安装好VMware Workstation,其次创建新的虚拟机,接着选择虚拟机硬件兼容性默认即可,然后加载提前下载好的Linux系统ISO镜像,给新建的虚拟机命名并为其找到合适的存储位置,紧接着是自定义配置虚拟机,涵盖了处理器按需配置、内存按需配置、网络部分选择「桥接模式
2022-06-29 08:31:12
115
原创 阿里云服务器
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。1、首先进入购买页面,网址如下:https://www.aliyun.com/product/ecs?source=5176.11533457&userCode=xbifxhv72、点击立即购买,进入后选择自定义购买,它包括基础配置、网络与安全组、系统配置以及分组配置3、在基础配置中,“付费模式”一般选择包年包月比较划算,“地域和可用区”一般选择和客户比较靠近的地域,还有,选择国内大
2022-06-28 22:21:37
562
原创 深度学习 :深度学习中的优化
除了正则化之外,优化也是深度学习需要解决的一个核心问题。由于深度神经网络中的隐藏层数目较多,因而将整个网络作为一个整体进行优化是非常困难的事情,需要花费大量的时间和计算力。出于效率和精确性的考虑,在深度学习的优化上需要使用专门的技术。出于可解性的考虑,传统机器学习算法往往会小心翼翼地选择代价函数和优化条件,将待优化问题转化为容易求解的凸优化问题。但在神经网络,尤其是在深度神经网络中,更一般的非凸情况是不可避免的,这就给深度学习中的优化带来很多额外的挑战。`1,病态矩阵是科学计算不愿打交道的对象,因为数值精度
2022-06-14 16:45:20
412
原创 深度学习:深度学习中的正则化
正则化(Regularization)作为抑制过拟合的手段,是机器学习和深度学习之中必不可少的环节,具有举足轻重的地位。好的机器学习算法不仅要在训练集上表现出色,当推广到未知的测试数据时,其优良的性能依然能够得以保持。正则化就是一类通过显式设计降低泛化误差,以提升算法通用性的策略的统称。由于深度学习中涉及的参数众多,正则化就变得尤为重要。正则化被定义为对学习算法的修改,这些修改的目的在于减少泛化误差。通常说来,泛化误差的下降是以训练误差的上升为代价的,但有些算法也能兼顾泛化误差和训练误差的良好性能。正则化处
2022-06-14 16:38:37
1326
原创 深度学习 :深度前馈网络
深度前馈网络(Deep Feedforward Network)是具有深度结构的前馈神经网络,可以看成是进化版的多层感知器。与只有一个或两个隐藏层的浅层网络相比,深度前馈网络具有更多的隐藏层数目,从而具备了更强的特征提取能力。深度前馈网络不考虑输入数据可能具备的任何特定结构,也就是不使用关于数据的先验信息。但特征提取能力增强的代价是运算复杂度的提升。因而,网络架构的建立、损失函数的选择、输出单元和隐藏单元的设计、训练误差的处理等问题就成为深度前馈网络设计中的一系列核心问题。1,深度前馈网络(Deep Fee
2022-06-14 16:29:59
1395
原创 深度学习 :深度学习概述
多年以后,面对李世石与 AlphaGo 的厮杀,加里·卡斯帕罗夫将会回想起,与深蓝对弈的那个遥远的下午。彼时的对手是一个庞大的超级计算机,记下变化多端的开局,以固定的逻辑决策应对中局,穷极所有可能性筛选残局。人工智能蹒跚学步之时,许多概念尚且是空中楼阁,计算机能够战胜优秀的人类围棋选手,这样的想法不啻于天方夜谭。棋类游戏的核心在于根据棋局判断下一手的最优下法,深蓝通过穷举的方法在国际象棋的棋局中解决了这个问题。在 64 格的国际象棋棋盘上,深蓝的运算能力决定了它能算出 12 手棋之后的局面下的最优解,而身为
2022-06-14 16:26:26
337
原创 人工神经网络 :模糊神经网络
模糊神经网络是一类特殊的神经网络,它是神经网络和模糊逻辑结合形成的混合智能系统,通过将模糊系统的类人推理方式与神经网络的学习和连接结构相融合来协同这两种技术。简单来说,模糊神经网络(fuzzy neural network)就是将常规的神经网络赋予模糊输入信号和模糊权值,其作用在于利用神经网络结构来实现模糊逻辑推理。1,开篇之前,今天看了一本书,,作者讲的一个重点是做观点/论文时,如果是自己写的话或观点,一定要有来源;2,模糊神经网络(fuzzy neural network)就是将常规的...
2022-06-14 16:07:01
3499
原创 人工神经网络 :自组织特征映射
无论是全局逼近的多层感知器,还是局部逼近的径向基网络,在训练中用到的都是监督学习的方法。如果将无监督学习引入神经网络中,对应的结构就是自组织特征映射(Self-Organizing Map),这是芬兰赫尔辛基大学的泰乌沃·柯霍宁于 1981 年提出的一类神经网络。第一,它能够将高维的输入数据映射到低维空间之上(通常是二维空间),因而起到降维的作用。在降维的同时,自组织映射妙就妙在还能维持数据在高维空间上的原始拓扑,将高维空间中相似的样本点映射到网络输出层的邻近神经元上,从而保留输入数据的结构化特征。第二,
2022-06-14 16:03:21
365
原创 人工神经网络:径向基函数神经网络
多层感知器是一类全局逼近的神经网络,网络的每个权重对任何一个输出都会产生同等程度的影响。因而对于每次训练,网络都要调整全部权值,这就造成全局逼近网络的收敛速度较慢。显然,这是一种牵一发而动全身的全局作用方式。与全局作用对应的是局部作用。在局部作用中,每个局部神经元只对特定区域的输入产生响应。如果输入在空间上是相近的,对这些输入的反应应该是相似的,那么被这些输入激活的神经元也应该是同一批神经元。进一步推广又可以得到,如果一个输入 A 在另外两个输入 B1 和 B2 的空间位置之间,那么响应输入 B1 和
2022-06-14 15:57:52
513
原创 人工神经网络:多层感知器
虽然异或问题成为感知器和早期神经网络的阿喀琉斯之踵,但它并非无解的问题。恰恰相反,解决它的思路相当简单,就是将单层感知器变成多层感知器。1,多层感知器(multilayer perceptron)包含一个或多个在输入节点和输出节点之间的隐藏层(hidden layer),除了输入节点外,每个节点都是使用非线性激活函数的神经元;2,多层感知器是一类前馈人工神经网络;3,多层感知器的训练包括以下步骤:首先确定给定输入和当前权重下的输出,再将输出和真实值相减得到误差函数,最后根据误差函数更新权重。在训练过程中
2022-06-14 15:53:25
2476
原创 人工神经网络:神经元与感知器
1943 年,美国芝加哥大学的神经科学家沃伦·麦卡洛克和他的助手沃尔特·皮茨发表了论文《神经活动中思想内在性的逻辑演算》(A Logical Calculus of Ideas Immanent in Nervous Activity),系统阐释了他们的想法:一个极度简化的机械大脑。麦卡洛克和皮茨首先将神经元的状态二值化,再通过复杂的方式衔接不同的神经元,从而实现对抽象信息的逻辑运算。正是这篇论文宣告了人工神经网络的呱呱坠地,它传奇的故事自此徐徐展开。1,1943 年,美国芝加哥大学的神经科学家沃伦·麦卡洛
2022-06-14 15:42:25
446
原创 人工神经网络之神经网络的生理学背景
当下,人工智能主流的研究方法是连接主义。连接主义学派并不认为人工智能源于数理逻辑,也不认为智能的关键在于思维方式。这一学派把智能建立在神经生理学和认知科学的基础上,强调智能活动是将大量简单的单元通过复杂方式相互连接后并行运行的结果。基于以上的思路,连接主义学派通过人工构建神经网络的方式来模拟人类智能。它以工程技术手段模拟人脑神经系统的结构和功能,通过大量的非线性并行处理器模拟人脑中众多的神经元,用处理器复杂的连接关系模拟人脑中众多神经元之间的突触行为。相较符号主义学派,连接主义学派显然更看重是智能赖以实现的
2022-06-14 15:37:26
267
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人