kupeThinkPoem
这个作者很懒,什么都没留下…
展开
-
显卡,显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn区别?
在使用深度学习框架的过程中一定会经常碰到这些东西,虽然anaconda有时会帮助我们自动地解决这些设置,但是有些特殊的库却还是需要我们手动配置环境,但是我对标题上的这些名词其实并不十分清楚,所以老是被网上的教程绕得云里雾里,所以觉得有必要写下一篇文章当做笔记供之后参考。转载 2023-05-19 11:04:53 · 1103 阅读 · 0 评论 -
人脸识别原理
目录 一、概述 二、人脸识别流程1、找出所有的面孔2、脸部的不同姿势3、给脸部编码4、从编码中找出人的名字 一、概述 人脸识别主要分为人脸检测(face detection)、特征提取(feature extraction)和人脸识别(face recognition)三个过程。人脸识别又可以分为两个大类:一类是确认,这是人脸图像与数据库中已存的该人图像比对的过程,回答你是不是你的问题;另一类是...转载 2022-05-07 07:01:50 · 4479 阅读 · 0 评论 -
人脸识别技术,如何才能走得更远?
目录一、概述 二、人脸识别攻击手段有哪些?1、业务逻辑漏洞被利用2、模型对抗3、前端人脸数据被替换三、人脸识别安全建设应该怎么做?1、建立人脸识别安全评估机制2、保证人脸数据存储以及传输的完整性、机密性3、加强应用系统全生命周期的安全管理4、提升风控能力5、第三方人脸识别模块安全管理四、人脸识别安全建设思考1、人脸识别专项安全评估2、APP安全加固+通信协议保护SDK3、移动应用安全监测平台一、概述 近两年,...转载 2022-05-04 10:17:27 · 207 阅读 · 0 评论 -
人脸识别的基本原理
目录一、概述二、人脸识别产品三、图像表示四、图像识别五、人脸表示六、人脸识别1、概述2、 1:1人脸对比3、1:N人脸对比一、概述 现在AI发展的如火如荼,我们已逐步进入智能时代。虽然人工智能偏技术类,学习和理解需要一定的技术背景和数学做支撑。但拆开看,其原理、方法、思路并不复杂,「不懂技术」的产品经理也能理解。 人工智能牵扯很多学科,知识点盘根错节,需要具备多学科的知识储备。从学习路径上看,比较适合做成系列,从浅入深,从基础...转载 2022-05-04 10:07:14 · 2044 阅读 · 0 评论 -
人脸识别的难点
目录一、概述 二、人脸识别的难点1. 光照问题2. 姿态问题3. 表情问题4. 遮挡问题5. 年龄变化6. 人脸相似性7. 动态识别8. 人脸防伪9. 样本缺乏10. 图像质量问题三、人脸识别的应用与前景 一、概述 人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术,通常也叫做人像...转载 2022-01-02 22:38:27 · 5238 阅读 · 0 评论 -
MXNet介绍及使用3-mxnet Executor
目录一、mxnet概述二、Mxnet系统结构三、mxnet运行流程四、mxnet Executor1、概述2、executor的接口3、graph_executor4、与module的区别5、Executor的两种模式7、Executor进行图的前向计算与反向梯度的计算的例子参考:一、mxnet概述 Apache MXNet(孵化)是一个深度学习框架,旨在提高效率和灵活性。它允许您混合符号和命令式编程,以最大限度地提高效率和生产力。...原创 2022-01-02 17:29:04 · 632 阅读 · 0 评论 -
MXNet介绍及使用2-mxnet symbol模块
一、mxnet概述 Apache MXNet(孵化)是一个深度学习框架,旨在提高效率和灵活性。它允许您混合符号和命令式编程,以最大限度地提高效率和生产力。MXNet的核心是一个动态依赖调度程序,可以动态地自动并行化符号和命令操作。最重要的图形优化层使符号执行更快,内存效率更高。MXNet便携且轻巧,可有效扩展到多个GPU和多台机器。MXNet也不仅仅是一个深度学习项目。它还是用于构建深度学习系统的蓝图和指南的集合,以及针对黑客的DL系统的有趣见解。二、Mxnet系统结构整个系统架构...原创 2022-01-01 14:37:51 · 688 阅读 · 0 评论 -
MXNet介绍及使用1-mxnet简介
目录一、mxnet概述二、特性三、Mxnet系统结构四、单机多卡的数据并行训练过程-Pre-process过程1、用户调用Symbol模块的API来定义整个深度神经网络。2、用户调用IO模块来构造训练数据集的迭代器。3、 用户调用IO模块来构造校验数据集的迭代器4、用户定义训练参数5、用户调用Executor模块构造执行器executor group。6、系统初始化每个executor。7、系统初始化kvstore五、单机多卡的数据并行训练过程-Proc...原创 2022-01-01 07:55:32 · 2375 阅读 · 0 评论 -
人脸识别开源项目介绍
目录一、概述二、开源项目的优势三、开源项目1.Deepface2.CompreFace3.Face Recognition4.InsightFace5. FaceNet6.InsightFace-REST四、结论一、概述 实时人脸识别系统在计算机视觉领域仍然是一个非常热门的话题,许多公司已经开发了自己的解决方案来尝试进入不断增长的市场。 与传统的识别方法相比,实时人脸识别系统的优势在于在连续帧中使用同一个人的多个实例。 ...原创 2021-12-26 21:09:06 · 1366 阅读 · 0 评论 -
人脸识别中的loss损失函数解析7-Additive Angular Margin Loss
目录一、概述二、Additive Angular Margin Loss(Arcface Loss)1、概述2、Arcface Loss及不同Loss对比3、可视化边界三、可视化结果探讨四、论文链接一、概述 在人脸识别中,算法的提高主要体现在损失函数的设计上,损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数,从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFace、Cosin...原创 2021-12-26 17:28:11 · 305 阅读 · 0 评论 -
人脸识别中的loss损失函数解析6-Cosine Margin Loss
目录一、概述二、Large Margin Cosine Loss(Cosine Margin Loss)1、概述2、Cosine Margin Loss及不同Loss对比3、可视化边界三、可视化结果探讨四、论文链接一、概述 在人脸识别中,算法的提高主要体现在损失函数的设计上,损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数,从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFa...原创 2021-12-26 15:46:41 · 463 阅读 · 0 评论 -
人脸识别中的loss损失函数解析5-Am-softmax loss
目录一、概述二、Additive Margin Softmax Loss(AM-Softmax Loss)1、概述2、AM-Softmax Loss及不同Loss对比3、可视化边界三、可视化结果探讨四、论文链接一、概述 在人脸识别中,算法的提高主要体现在损失函数的设计上,损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数,从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFace...原创 2021-12-26 15:23:31 · 1649 阅读 · 0 评论 -
人脸识别中的loss损失函数解析4-A-softmax loss
目录一、概述二、Angular Softmax Loss(A-Softmax loss)1、概述2、loss三、可视化结果探讨四、论文链接一、概述 在人脸识别中,算法的提高主要体现在损失函数的设计上,损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数,从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFace、CosineFace还是ArcFace的损失函数,都是基于Softmax ...原创 2021-12-25 21:38:39 · 1660 阅读 · 0 评论 -
人脸识别中的loss损失函数解析3-L-softmax loss
目录一、概述二、Large Margin Softmax Loss(L-softmax loss)1、概述2、loss三、可视化探讨四、论文链接一、概述 在人脸识别中,算法的提高主要体现在损失函数的设计上,损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数,从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFace、CosineFace还是ArcFace的损失函数,都是基于Softma...原创 2021-12-25 20:48:43 · 732 阅读 · 0 评论 -
人脸识别中的loss损失函数解析2-center loss
目录一、概述二、center loss1、类别中心2、loss 三、学习算法1、类别中心2、整体学习算法四、可视化结果探讨五、论文链接一、概述 在人脸识别中,算法的提高主要体现在损失函数的设计上,损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数,从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFace、CosineFace还是ArcFace的损失函数,都是基...原创 2021-12-25 19:52:59 · 1476 阅读 · 0 评论 -
人脸识别中的loss损失函数解析1-softmax loss
一、概述 在人脸识别中,算法的提高主要体现在损失函数的设计上,损失函数会对整个网络的优化有着导向性的作用。我们看到许多常用的损失函数,从传统的softmax loss到cosface, arcface 都有这一定的提高。无论是SphereFace、CosineFace还是ArcFace的损失函数,都是基于Softmax loss来进行修改的。Base line Softmax loss 各种延伸的算法 Triplet loss, center loss 最新算法 ...原创 2021-12-25 17:31:15 · 424 阅读 · 0 评论 -
人脸识别实战5-人脸识别模型训练环境搭建及模型训练
一、安装软件1、查看conda环境conda info -e2、激活mxnet环境conda activate py36mxnet3、安装软件conda install tensorflow-gpuconda install scikit-learnconda install --channel https://conda.anaconda.org/zhaofeng-shu33 easydictconda install -c conda-forge opencv=3.4..原创 2021-12-06 23:27:38 · 3422 阅读 · 0 评论 -
人脸识别实战4-Xftp6连接服务器
目录一、简介二、Xftp6连接服务器1、新建会话2、会话参数设置3、单击连接一、简介 xftp是一个功能强大的sftp、ftp 文件传输软件。使用了 xftp 以后,ms windows 用户能安全地在 unix/linux 和 windows pc 之间传输文件。简单易操作的界面很适合开发者使用。二、Xftp6连接服务器1、新建会话2、会话参数设置3、单击连接...原创 2021-12-04 19:07:17 · 849 阅读 · 0 评论 -
人脸识别实战3-Xshell6连接服务器
目录一、Xshell简介二、Xshell6连接服务器1、新建2、参数设置3、单击连接4、输入用户名和密码一、Xshell简介 Xshell[1]是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。Xshell可以在Windows界面下用来访问远端不同系统下的服务器,从而比较好...原创 2021-12-04 17:41:40 · 513 阅读 · 0 评论 -
人脸识别实战2-mxnet介绍及安装mxnet
目录一、mxnet简介二、mxnet特性三、mxnet架构四、mxnet安装1、创建一个环境py36mxnet2、激活环境py36mxnet3、 安装mxnet的gpu版本五、查看mxnet版本一、mxnet简介 Apache MXNet(孵化)是一个深度学习框架,旨在提高效率和灵活性。它允许您混合符号和命令式编程,以最大限度地提高效率和生产力。MXNet的核心是一个动态依赖调度程序,可以动态地自动并行化符号和命令操作。最重要的图形优化层使符号执行更快...原创 2021-12-04 17:17:19 · 299 阅读 · 0 评论 -
人脸识别实战1-下载安装Anaconda3
一、简介 Anaconda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同的环境之间切换Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等。二、下载1、进入官网选择要下载的版本和操作系统Anaconda | Individual Edition2、到页面下方下载:三、安装1、bash命令bash Anaconda3-2020.11-Linux-x86_6...原创 2021-12-04 15:53:25 · 1644 阅读 · 0 评论 -
微软旷视人脸识别100%失灵,芝加哥大学新研究「隐身衣」,帮你保护照片隐私数据
左图,右图,你能看出区别吗?其实,算法已经悄悄给右边的照片加上了微小的修改。但就是这样肉眼根本看不出来的扰动,就能100%骗过来自微软、亚马逊、旷视——全球最先进的人脸识别模型!所以意义何在?这代表着你再也不用担心po在网上的照片被某些软件扒得干干净净,打包、分类,几毛钱一整份卖掉喂AI了。这就是来自芝加哥大学的最新研究:给照片加上一点肉眼看不出来的修改,就能让你的脸成功「隐形」。如此一来,即使你在网络上的照片被非法抓取,用这些数据训练出来的人脸模型,也无法真转载 2021-11-28 18:32:45 · 294 阅读 · 0 评论 -
一文读懂交叉熵和最大似然的关系及在人脸识别中的应用
交叉熵和最大似然在人脸识别中的应用,及实例和代码分析。原创 2021-11-20 21:04:31 · 860 阅读 · 0 评论 -
CVPR 2021 | WebFace260M:百万级人脸识别数据集和基准
WebFace260M是一个新的百万级别的人脸基准,该基准是为研究团体而设计的,旨在缩小行业背后的数据鸿沟。数据集现已发布(可申请下载)!想看更多CVPR 2021论文和开源项目可以点击:CVPR2021-Papers-with-Codegithub.com/amusi/CVPR2021-Papers-with-Code注1:文末附【人脸识别】交流群注2:整理不易,欢迎点赞,支持分享!WebFace260M: A Benchmark Unveiling the Power of M转载 2021-10-12 07:23:50 · 1013 阅读 · 0 评论 -
人脸识别之insightface开源代码简单使用:训练、验证、测试(4)
一、前言 通过前面的几个小节,我们已经实现了模型的训练以及阈值的选取。此时利用我们已经训练好的模型和手上的阈值,我们已经能够做到1:1这样的验证了。所要做的就是拿两张图片,相同人或者不同人,然后送入网络中,网络会提取出来两个人的512维特征向量作为表征。然后计算两个向量之间的欧氏距离,如果该欧氏距离大于阈值,则判定为不同人;如果小于阈值,那么判定为同一个人。 但是要做到人脸识别,我们还需要最后一步:构建人脸特征库。二、人脸特征库怎么建 这部分内容...转载 2021-09-01 17:14:25 · 3144 阅读 · 2 评论 -
人脸识别之insightface开源代码简单使用:训练、验证、测试(3)
目录一、概述二、模型训练三、模型验证一、概述 前面我们制作好了训练所需要的文件:train.rec,property,以及验证时所需要的val.bin,那么接下来就是该探索如何进行数据的训练。 这部分内容相对来说比较简单,毕竟框架和代码都是作者已经写好的,可供更改的内容还是有限的,所以也没有太多技巧的内容,更多就是按部就班的来。二、模型训练 训练文件在"src"=>"train_softmax.py"文件内:...转载 2021-09-01 16:51:47 · 1869 阅读 · 8 评论 -
人脸识别之insightface开源代码简单使用:训练、验证、测试(2)
目录数据集规模数据集划分数据增强人脸检测与校正训练数据.rec的制作验证数据.bin的制作数据集规模 数据当然是越多越好,然而实际我们可能没有那么多数据,那么多大的量就可以了呢?吴恩达的教程里面说过,怎么着也得有个几千到几万张吧。因为我们不是从头开始训练,有了预训练模型的话,可以很大程度上减少对于数据的需求,这当然对于实际使用显然不够,但是对于学习项目而言,差不多了。 打个比方,假设要做一个NBA球星的识别,球星有“詹姆斯”、“韦德”、“...转载 2021-09-01 16:06:03 · 2015 阅读 · 0 评论 -
人脸识别之insightface开源代码简单使用:训练、验证、测试(1)
初衷现在的各种应用上面都使用了人脸识别技术,但是人脸识别看似简单的问题,其实所覆盖的知识面还是比较广泛的。正好有机会做了这方面的工作,因此将整个项目流程和自己的思路进行一下梳理。本文只是一个简单的应用,仅仅是从业务需求上面做一个demo,并没有可能做到一个什么样的soft,不然我就可以发文章了o(╯□╰)o。所以很牛的大神请勿喷,给点正能量鼓励一下,不懂的小白正好可以借机玩一玩这个东西。因为整个流程会分为几个阶段,所以我也将这几个阶段进行了拆分,一步一步来。代码回头会放到github上面,有兴趣转载 2021-09-01 14:56:21 · 2280 阅读 · 7 评论 -
insightface中使用mxnet-memonger减少训练内存
目录一、概述二、使用方法 1、修改config 2、修改代码三、遇到问题四、效果一、概述 在做deep learning的时候,应该都遇到过显存不够用,然后不得不去痛苦的减去batchszie,或者砍自己的网络结构呢? 最后跑出来的效果不尽如人意,遇到这种情况怎么办? 首先是源码mxnet-memonger(https://github.com/dmlc/mxnet-memonger),相应的paper也是值得一看的Trainin...原创 2021-09-01 12:55:04 · 217 阅读 · 0 评论 -
基于insightface人脸模型知识蒸馏实现3--模型验证
目录一、简介二、人脸模型的蒸馏三、模型验证1、模型验证集2、验证代码一、简介 在大规模的机器学习领域,如人脸识别、物体检测、语音识别等为了获得较好的performance常常会训练很复杂的模型,因为不需要考虑实时性、计算量等因素。但是,在部署阶段就需要考虑模型的大小、计算复杂度、速度等诸多因素,因此我们需要更小更精炼的模型用于部署。这种训练和部署阶段不同的模型形态,可以类比于自然界中很多昆虫有多种形态以适应不同阶段的需求。具体地,如蝴蝶在幼虫以蛹的形式存储...原创 2021-07-05 16:05:31 · 484 阅读 · 3 评论 -
基于insightface人脸模型知识蒸馏实现2--模型训练
目录一、简介二、人脸模型的蒸馏三、模型训练1、模型训练基本步骤2、实现代码四、参考论文一、简介 在大规模的机器学习领域,如人脸识别、物体检测、语音识别等为了获得较好的performance常常会训练很复杂的模型,因为不需要考虑实时性、计算量等因素。但是,在部署阶段就需要考虑模型的大小、计算复杂度、速度等诸多因素,因此我们需要更小更精炼的模型用于部署。这种训练和部署阶段不同的模型形态,可以类比于自然界中很多昆虫有多种形态以适应不同阶段的需求。具体地...原创 2021-07-05 15:48:54 · 395 阅读 · 3 评论 -
基于insightface人脸模型知识蒸馏实现1--数据加载
目录一、简介二、人脸模型的蒸馏三、数据加载四、代码五、参考论文一、简介 在大规模的机器学习领域,如人脸识别、物体检测、语音识别等为了获得较好的performance常常会训练很复杂的模型,因为不需要考虑实时性、计算量等因素。但是,在部署阶段就需要考虑模型的大小、计算复杂度、速度等诸多因素,因此我们需要更小更精炼的模型用于部署。这种训练和部署阶段不同的模型形态,可以类比于自然界中很多昆虫有多种形态以适应不同阶段的需求。具体地,如蝴蝶在幼虫以蛹的形式存储能量...原创 2021-05-17 23:08:32 · 463 阅读 · 0 评论 -
人脸识别ROC曲线绘制2--使用feature文本绘制曲线
目录一、ROC曲线二、fpr和tpr文本生成三、绘图一、ROC曲线 ROC曲线(Receiver Operator characteristic Curve)是一种已经被广泛接受的系统匹配算法测试指标,它是匹配分数阈值、误识率以及拒识率之间的一种关系。它反映了识别算法在不同阈值上,拒识率和误识率的平衡关系。下图给出了ROC曲线,其中横坐标是拒识率,纵坐标是误识率,等错误率(EER Equal-Error Rate)是拒识率和误识率的一个平衡点,等错误率能够取到的值越低,...原创 2021-05-13 21:38:58 · 518 阅读 · 0 评论 -
人脸识别ROC曲线绘制1--生成人脸feature文本
目录一、ROC曲线二、Feature文本生成三、脚本调用一、ROC曲线ROC曲线(Receiver Operator characteristic Curve)是一种已经被广泛接受的系统匹配算法测试指标,它是匹配分数阈值、误识率以及拒识率之间的一种关系。它反映了识别算法在不同阈值上,拒识率和误识率的平衡关系。下图给出了ROC曲线,其中横坐标是拒识率,纵坐标是误识率,等错误率(EER Equal-Error Rate)是拒识率和误识率的一个平衡点,等错误率能够取到的值越低,表.原创 2021-05-07 22:32:23 · 634 阅读 · 0 评论 -
C++实现人脸对齐
目录一、为什么需要人脸对齐、二、相似性变换三、代码实现一、为什么需要人脸对齐 MTCNN可以进行人脸landmark的输出。设想这样一种情况,图片中的脸相对于图片是斜的。如果不进行人脸对齐,人脸识别的精度会明显的降低。二、相似性变换相似变换相当于等距变换和均匀缩放的一个复合,即为:左上角2*2矩阵为旋转部分,右上角为平移因子。它有四个自由度,即旋转、x方向平移、y方向平移和缩放因子s。相似变换后长度比、夹角保持不变,其与相似三角形类似。.........原创 2021-05-06 20:45:14 · 923 阅读 · 14 评论 -
人脸识别最新进展以及工业级大规模人脸识别实践探讨
转自:https://zhuanlan.zhihu.com/p/38655724人脸识别已经成为成为计算机视觉领域最热门的应用之一,很多刚入门的 AI 新手都或多或少接触过人脸识别的相关知识,但是纸上得来终觉浅,在实际应用中,往往会遇到各种各样的问题,比如如何保证不同环境下人脸识别的准确率,极端环境下如何进行人脸识别等等。为了帮大家解惑,我们特意邀请到了格灵深瞳首席科学家和算法部负责人——张德兵,为大家带来主题为“一亿 ID 的人脸识别训练和万亿人脸对(Trillion Pairs)的人脸识别.转载 2020-08-29 12:22:18 · 1170 阅读 · 0 评论 -
pip 修改默认缓存文件夹
转自:https://zwc365.com/2019/10/24/pip-default-dir-modify/Linux 安装 Python 后,使用 pip 安装软件包。默认的 pip 缓存路径是~/.cache/pip但是如果想放到另外的文件夹,则可以执行下列命令:双引号中,输入自己想保存的路径 1 pip config set global.cache-dir "/home/pi/udisk/.cache/pip" 复制...转载 2020-07-27 15:26:55 · 9188 阅读 · 0 评论 -
Distributed Training using Apache MXNet with Horovod
转自:https://medium.com/apache-mxnet/distributed-training-using-apache-mxnet-with-horovod-44f98bf0e7b7Distributed training on multiple high performance computing instances can reduce the time to train modern deep neural networks on large data from weeks.转载 2020-07-24 16:00:23 · 477 阅读 · 0 评论 -
人脸识别深度学习分布式训练环境搭建1
参考:https://github.com/kaust-vislab/horovod-gpu-data-science-project https://github.com/horovod/horovod一、hovorod简介 Horovod是Uber开源的又一个深度学习工具,它的发展吸取了Facebook "Training ImageNet In 1 Hour" 与百度 "Ring Allreduce" 的优点,可为用户实现分布式训练提供帮助。...原创 2020-07-23 16:27:38 · 444 阅读 · 0 评论 -
insightface制作人脸数据验证集
参考:http://www.whdeng.cn/CPLFW/index.html?reload=true一、概述人脸数据的验证集用于训练过程中对模型进行精度验证,常用的人脸数据验证集有lfw,cfp_fp和agedb30。我们以cplfw数据为例来进行人脸数据验证集的制作Labeled Faces in the Wild (LFW) database has been widely...原创 2020-04-23 16:25:12 · 740 阅读 · 0 评论