深度学习

在Blender中使用代码控制人物模型的头部姿态 - 代码实践mediapipe版本MediaPipe的FaceMesh能够检测468个人脸关键点，这里使用此组件驱动头部动作。本文最后是整体代码。可以按照该文配置环境，然后安装mediapipe,简便的安装方式就是 pip install mediapipe检测结果类似这样下面的图片可以下载放大看，每个数值所代表的关键点期望代码能够实现类似下面效果的头部姿态整体代码如下from argparse import ArgumentParser

在Blender中使用代码控制人物模型的头部姿态 - 代码实践在文章的最后，贴上完整的代码需要一个普通的摄像头，可以像虚拟UP主一样做头部动作环境：Ubuntu18.04Blender 版本2.82Dlib：用于人脸关键点检测OpenCV版本3.4.16solvePnP：从3D-2D点对应关系中找到一个目标的姿态，在这里用于通过人脸关键点计算出头部姿态这里使用的dlib模型检测出68个关键点，在计算头部姿态时使用其中6个关键点的索引分别是：代码中索引从0开始计算下巴：8鼻尖：30

在Blender中使用代码控制人物模型的头部姿态flyfish该模型可以从Blender官网下载模型下载地址头部的动作分为以下三种情况的组合Pitch，Yaw，RollPitch，Yaw，Roll与，X,Y,Z的对应关系，代码中可以用到总结就是三句话X轴： 点头 上负下正 PitchY轴： 摇头 左正右负 YawZ轴： 歪头 左负右正 Roll代码实现在Blender Scripting中新建一个Animation.py的脚本，点击Run Script开始运行import bp

在Blender下使用Anaconda的Python环境flyfish前言：Anaconda下的Python环境可以使用PyTorch等深度学习框架，让Blender也能用深度学习框架。期望在Blender启动的时候加载的是Anaconda下的Python环境1. 查看自己Blender中Python的版本这里以Blender2.82举例可以在Editor Type->Python Conimposole查看或者shift+F4PYTHON INTERACTIVE CONSOLE 3.7

AD-NeRF 数据集的制作flyfish通过一个视频文件是如何制作数据集的以id是Obama为例bash process_data.sh Obama该命令自动执行了以下内容第0步 提取声音特征通过ffmpeg命令提取视频中音频数据,存储路径是dataset/Obama/aud.wav通过deepspeech获取音频特征存储路径是dataset/Obama/aud.npyhttps://github.com/mozilla/DeepSpeech第1步 原始视频转换成图像将原始视频变成一

复现 AD-NeRF 由音频和人脸图像合成人脸视频并表现出自然的说话风格flyfish合成高保真音频驱动的面部视频序列在数字人类、聊天机器人和虚拟视频会议等许多应用中是一个重要而具有挑战性的问题。将语音头部的生成过程视为从音频到视觉人脸的跨模态映射，期望合成的人脸图像表现出自然的说话风格，同时同步与原始视频相同的照片真实感的流媒体结果。环境：Ubuntu 18.04NVIDIA Driver Version: 440.33.01CUDA Version: 10.2 cuda-repo-ubun

NVIDIA cuDNN 下载flyfishCUDA Toolkit的下载无需注册cuDNN（CUDA Deep Neural Network library）的下载需要注册以下已经存储到网盘，可以从网盘下载，无需注册下载cuDNN如果列表有您想要的，看最后的下载地址libcudnn7-dev_7.3.0.29-1+cuda10.0_amd64.deblibcudnn7-dev_7.3.1.20-1+cuda10.0_amd64.deblibcudnn7-dev_7.4.1.5-1+cuda

DECA的3D人脸重建（3D face reconstruction）flyfishDECA 全称 Detailed Expression Capture and Animation论文名字《Learning an Animatable Detailed 3D Face Model from In-The-WildImages》原始代码下载地址https://github.com/YadiraF/DECA整理好源码和模型下载地址链接：https://pan.baidu.com/s/1hlY

CIPS-3D 生成风格化的图像并控制人脸的姿势flyfish论文题目《CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis》论文下载地址https://arxiv.org/pdf/2110.09788.pdf源码下载地址https://github.com/PeterouZh/CIPS-3D包括源码和模型下载地址链接：https://pan.baidu.com/s

AI变身艺术大师flyfish以下全部都是AI模型生成的源码和模型下载地址，增加了官网没有的艺术模型链接：https://pan.baidu.com/s/1To_-qL6YLXxwzJTvyDj6ww 提取码：c9k4只有源码的地址https://github.com/NVlabs/stylegan3先看几张艺术画再看几张风景如果是在游戏中，程序可以随机生成3D地貌，每个人玩的都不一样，不过当前只是生成二维的图像。最后看原始模型生成的图像生成艺术

AI模型让一张人脸照片变成三维的真人脸flyfish曾经是需要这样的，头上戴设备的，现在用AI可以省点麻烦。实例1论文Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image SetTensorFlow版本源码 PyTorch版本源码推荐点击这里下载源码和模型，原网址不带模型的，本文已经提供好了源码和模型的下载地址，这里是PyTorch版本.链接：https://p

AI模型用一段语音让一张照片动起来flyfish输入是一段语音和一张照片，输出就是照片里的人在说话的视频.模型与源码一起提供,拖到文章末尾出有下载地址。看例子原始图片AI模型让它动起来后再看一个示例左侧1是原始图片，中间是动起来后实现这里是初始的使用教程比官网更加详细一些，因为增加一些容易使用的代码。因为下载模型稍微有困难，所以这里模型与源码一起提供，点击这里下载。并且都已经各安其位，各司其职。总共需要三部第一步下载模型与源码一起提供链接：https://pan.baid

目标检测 YOLOv5 - 自定义的模型在使用C++推理时需要注意的问题flyfish关注的YOLOv5的Python代码部分C++编写推理时需要关注的YOLOv5代码的是export.py和yolo.pyC++版本的YOLOv5推理已由nihui 在ncnn中完成，路径是ncnn/examples/yolov5.cpp，并且兼容YOLOv5:v6，还提供了移动端的使用demo。1 注意生成新的anchor3个stride，在原始配置yolov5s.yaml文件中分别是# anchorsa

Python可视化梯度下降flyfish从简单开始函数是y=(x−5)2+2y=(x-5)^2+2y=(x−5)2+2红叉表示梯度下降的起点x=0.5050505050505051x=0.5050505050505051x=0.5050505050505051y=22.204570962146718y=22.204570962146718y=22.204570962146718x轴代表的是我们待学习的参数θ（theta），y轴代表的是损失函数的值（即Loss值），曲线y代表的是损失函数。我

英国的统计学家高尔顿（Francis Galton）用统计方法研究两个变量之间关系。他研究父母身高与子女身高之间的关系，“回归”这个词由他引入的。大意是一般情况下爹妈高，孩子高；爹妈矮，孩子矮。这样拟合出了很好看的线性关系。但是，这里是有但是的，爹妈矮，孩子也不会一直比上辈矮下去。爹妈高，孩子也不会一直比上辈高，要不到处都是巨人。好像大自然有一种力量让这些人的身高朝着平均身高去长，即有“回归”到平均数的趋势。回归一词就是这么来的，今天线性回归比以前的含义要丰富些。以预测房屋的价格（元）作为例子来解释线性回

目标分割 mmsegmentation的安装flyfish以下命令亲测有效和官网按照稍微有些不同，各个库的版本必须对应，最终安装各个库的版如下版本操作系统:Ubuntu18.04 Python: 3.7.11CUDA 10.1PyTorch: 1.6.0TorchVision: 0.7.0OpenCV: 4.5.4-devMMCV: 1.3.13MMSegmentation: 0.18.0+845098b下载anaconda的开源版本Python 3.8 64-Bit (x86)

Python从视频抽取帧保存为图片flyfish版本3.6以上import cv2from tqdm import tqdm#视频文件所在的路径video_path = "/media/data/a.mp4"#保存的图像文件所在的目录save_img_directory = "/media/data/hard/"#保存的图像文件的名字save_img_filename = "filename" #文件名不带扩展名自动加入序号frame_interval = 5 #隔多少帧存储一

什么是剪枝在一棵树中，把不重要的枝条剪掉，就是剪枝园丁的手艺是不同的，不同的园丁剪的效果不同。做模型的剪枝与园丁干得工作是一模一样，先看一个回归实例拟合数据的结果有正合适，欠拟合，过拟合直线就是欠拟合，一个每个数据点都经过的曲线就是过拟合了再看他们的数学表达式，多项式的最高次数是不同的，剪枝就像去掉上图中3次方项和4次方项剪枝方法多，因为把不重要的东西去掉，在定义什么东西不重要，各家有各家的方法如果把项剪的太多了，曲线就变成值线了，这不是我们想要的。当过拟合的时候，剪太多就把树枝剪

目标检测 YOLOv5 - YOLOv5:v6版本多机多卡训练出现的错误及解决方案flyfish2021年4月份发布的 YOLOv5:v5版本，2021年10月份发布的 YOLOv5:v6版本发布了更小的Nano模型YOLOv5n和YOLOv5n6一. 改进的方面整合了 Roboflow，使用Roboflow来组织、标注、准备、版本化和托管用于训练YOLOv5模型的数据集，Roboflow上有很多公开的数据集。Nano模型保持了 yolov5s 模型的深度depth multiple =