AI知识搬运工

视频教程在这里：sadtalker数字人创建简易教程项目基于SadTalkers实现视频唇形合成的Wav2lip。通过以视频文件方式进行语音驱动生成唇形，设置面部区域可配置的增强方式进行合成唇形（人脸）区域画面增强，提高生成唇形的清晰度。使用DAIN 插帧的DL算法对生成视频进行补帧，补充帧间合成唇形的动作过渡，使合成的唇形更为流畅、真实以及自然。

1.简介Open3D:一个用于3D数据处理的现代库Open3D是一个开源库，支持处理3D数据的软件的快速开发。Open3D前端在c++和Python中公开了一组精心选择的数据结构和算法。后端经过高度优化，并设置为并行化。我们欢迎来自开源社区的贡献。Open3D的核心功能包括: 三维数据结构 三维数据处理算法 现场重建 表面对齐 三维可视化 物理渲染(PBR) 3D机器学习支持PyTorch和TensorFlow GPU加速核心3D操作 c++和Python版本可用官方：Ope

人脸姿态估计

1.卡尔曼滤波简介卡尔曼滤波的一个典型实例是从一组有限的，包含噪声的，对物体位置的观察序列（可能有偏差）预测出物体的位置的坐标及速度。在很多工程应用(如雷达、计算机视觉)中都可以找到它的身影。同时，卡尔曼滤波也是控制理论以及控制系统工程中的一个重要课题。例如,对于雷达来说，人们感兴趣的是其能够跟踪目标。但目标的位置、速度、加速度的测量值往往在任何时候都有噪声。卡尔曼滤波利用目标的动态信息，设法去掉噪声的影响，得到一个关于目标位置的好的估计。这个估计可以是对当前目标位置的估计(滤波)，也可以是对于将来位置

刚刚，我用三行代码创建了一个虚拟主播刚刚，我花了10分钟，写了三行代码创建一个具有明星脸的虚拟主播先看看效果：语音播报虚拟主播2实现简易的虚拟数字人非常简单，需要调用三个模型：（1）First Order Motion（表情迁移）（2）Text to Speech（文本转语音）（2）Wav2Lip（唇形合成）。具体技术步骤如下：1，把图像放入First Order Motion模型进行面部表情迁移，让虚拟主播的表情更加逼近真人，既然定位是一个主播，那表情都参考当然是

An Efficient Framework For High Fidelity Face Swapping论文：https://arxiv.org/pdf/2106.06340v1.pdf1，整体流程：SimSwap框架的生成器由三部分组成，包括编码器部分、ID注入部分模块（IIM）和解码器部分。编码器提取特征???????????????? 从目标图像???????? . ID注入模块将身份信息从???????? 进入???????????????? . 解码器将修改后的特征恢复到结果图像中

安装PaddleGANPaddleGAN的安装目前支持Clone GitHub和Gitee两种方式：In [4]# 安装ppgan# 当前目录在: /home/aistudio/, 这个目录也是左边文件和文件夹所在的目录# 克隆最新的PaddleGAN仓库到当前目录 !git clone https://github.com/PaddlePaddle/PaddleGAN.git# 如果从github下载慢可以从gitee clone： !git clone https://gitee

【人脸检测】Paddle复现MTCNN数据准备解压下载好的数据In [1]!unzip -oq /home/aistudio/data/data118007/data.zip -d /home/aistudio/data/!cp work/data/*.txt /home/aistudio/data/ In []1，MTCNN 主干网络In []#pnet实现import paddleimport paddle.nn as nnimport p..

基于2-channel network的图片相似度判别原文地址：http://blog.csdn.net/hjimce/article/details/50098483一、相关理论 本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章：《Learning to Compare Image Patches via Convolutional Neural Netwo...

Paddle复现RetinaFace详细解析RetinaFace前向推理分析主要分以下部分：1，网络主干结构2，网络的后处理3, 网络前向推理1，网络的主干结构复现网络结构图如下：这里复现部分做了精简，5层FPN删减为3层，主干为mobilinetIn [10]# 专干网络所用的模块# View dataset directory. import paddleimport paddle.nn as nnimport paddle.nn.functiona

1.摘要该方法从人脸识别的效果影响因素出发，从理论上推导出人脸样本类间相似度分布与人脸图像质量高度相关，利用类内相似度分布和类间相似度分布之间的Wasserstein距离生成人脸图像质量伪标签。然后，利用这些质量伪标签进行无监督训练人脸质量回归网络，从而获得一个质量评估模型。大量实验表明，在各大人脸识别的基准数据集上，提出的SDD-FIQA方法在不同的人脸识别系统下，精度和泛化能力都达到目前最优水平。2.背景介绍目前人脸质量评估方法可分为两类，一类是通过人类视觉系统(HSV)定义质量指标（如

1.SDD-FIQA: Unsupervised Face Image Quality Assessment with Similarity Distribution DistanceCVPR 2021Code ：https://github.com/Tencent/TFace/tree/quality2.MagFace：A Universal Representation for Face Recognition and Quality AssessmentCVPR 2021Code

滑动窗口与anchors生成是目标检测中常用的方法，下面使用python实现一下，做个笔记1，滑动窗口import cv2import numpy as npdef sliding_window(image, stepSize, windowSize): # slide a window across the image for y in range(0, image.shape[0], stepSize): for x in range(0, image.

人脸识别算法移植到K210硬件平台下载：Keras_insightface工程Git clone https://github.com/leondgarse/Keras_insightface 下载需要h5模型

人脸检测使用avx,avx2指令加速实验算法使用CNN人脸检测方法，这里的人脸检测使用整形量化模型，使用avx加速比较明显，从20ms加速到3ms，avx512应该会更快一些，实验电脑不支持1，首先看一下非加速情况，电脑cpu:i76800k直接编辑CMakeLists.txtcmake_minimum_required(VERSION 2.6)project(test)SET(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++14 -O2 -D

嵌入式端人脸检测本文只要包括两个部分，一个是使用传统DLIB人脸检测；第二个是使用CNN的人脸检测，分别移植到嵌入式上运行一，使用DLIB人脸检测1，下载dlib源码进入目录，新建build目录2，使用CMAKE-GUI配置交叉编译工具3，生成静态库后，编写CMakeLists.txt文件#包含头文件INCLUDE_DIRECTORIES(/home/feng/work/dlib-19.20) #dlib根目录地址LINK_DIRECTORIES(/home/feng

编译嵌入式静态库本项目是利用insightface训练一个人脸识别模型，然后使用NPU 加速在嵌入式RV1109板子上运行。本此记录如何使用交叉编译工具编译一个动态库提供给软件调用。人脸识别算法依赖了DLIB，opencv库，编译过程需要链接这两个库的动态库。DLIB编译时直接生成了静态库，这样链接编译的可执行文件运行完全没有问题。但是编译成静态库时调用就会出问题，链接不到。所以舍弃dlib静态库，直接使用源码1，直接联合dlib源码编译找到/work/dlib-19.20/dlib/all

更多内容关注微信公众号：ML_Study1，MS-Celeb-1M数据集：MSR IRC是目前世界上规模最大、水平最高的图像识别赛事之一，由MSRA（微软亚洲研究院）图像分析、大数据挖掘研究组组长张磊发起，每年定期举办。从1M个名人中，根据他们的受欢迎程度，选择100K个。然后，利用搜索引擎，给100K个人，每人搜大概100张图片。共100K*100=10M个图片。测试集包括1000个名人，...

Bayesian Face Revisited: A Joint Formulation之前看过一篇联合贝叶斯的经典解析：http://blog.csdn.net/cyh_24/article/details/49059475，初看还是没有完全理解，结合https://blog.csdn.net/tinyzhao/article/details/53015724 此篇做如下整理。原论文下载...

1，dlib库编译安装（1）下载源码 http://dlib.net/生成编译工程（使用cmake），可以选择gup选项，需要cuda9.0支持，点击generate后，Open project使用vs编译即可。更多内容关注微信公众号：ML_Study编译完成后创建工程，配置相关头文件，包含dlib文件夹的文件夹添加到#include搜索路径，将静态库加入工程，即可编译。...