蓝天白云

【代码】ffmpeg命令。

在训练LoRA模型之前，我们需要首先明确自己需要训练什么类型的LoRA，有的博主将模型分成了几个大类：人物角色、画风/风格、概念、服饰、物体/特定元素等。我只简单的划分为两类：具象类和泛化类，具象类如：一个物体、一种姿势、一种服装、一个人物、某个特定元素等都可以划归为具象类。泛化类如：某种场景、某种艺术风格、色彩风格等。前期明确目的的训练能更好的确定要找素材的数量及选择的大模型类型，为后面的具体训练打好基础。⚠️ 「大模型的选择」和「图片质量」都是收集素材的关键！

这样的分割效果，如果用到训练里面去，就会影响训练的效果，解决的办法是，可以去优化源码里面自带的bisnet网络，但操作起来有些麻烦。分割完成之后，可以看到最终分割结果比源码自带的效果要好很多，但要改成NeRF要的颜色格式，就是头部用蓝色表示，脖子用绿色表示，身体部用红色表示，背景部分用白色表示。获取分割的色块颜色值之后，要对现有的颜色值更改成源码需要的颜色值，在这个过程中顺带把色块之后的孔洞给填充上。运行项目之后，打开项目的交互界面，然后打开要分割的视频，然后等待一会，下面的窗口就出现视频的第一帧图像。

NeRF用的很广，但效率不行。用稀疏特征网格替换部分MLP网络，可大幅提升速度。引入了用于静态场景建模的哈希编码体素网格，允许使用紧凑的模型进行快速和高质量的渲染。RAD-NeRF首先将这项技术应用于说话肖像合成，并构建了一个具有最先进性能的实时框架。然而，这种方法需要一个复杂的基于MLP的网格编码器来隐式学习区域音频运动映射，这限制了其收敛性和重建质量。在体积渲染中，由于只有表面区域有助于表示动态头部，因此大多数其他空间区域都是空的，可以用一些有效的NeRF技术进行修剪，以降低训练难度；

所谓正样本是指希望正确分类出的类别多对应的样本。例如判断一张人物头像照片是否为男性。那 么在数据训练的时候，男性图片就是正样本，负样本就是女性照片了。

最近安装er-nerf，安装了很久，各种报错，我都快疯了，好不容易本地电脑安装成功，去服务器又不成功。故记录下，本次服务器安装详情步骤。组合：python:3.9 - portch:11.8 -- 失败python:3.10 - portch:11.8 --成功python:3.10 - portch:11.7 --成功python:3.10 - portch:12.1 --失败。

训练自己的模型可以在现有模型的基础上，让AI懂得如何更精确生成/生成特定的比如，你下载了一个人物的大模型checkpoint，但是你想生成特点的人物，比如迪丽热巴，AI大模型是不知道迪丽热巴长什么样子的，这个使用lora就派上用场了。要注意的是，对于一些基础东西，比如长头发、短头发、黑色头发、棕色头发，这些AI 都是知道的，lora并不是做这个的。

1.错误：Torch is not able to use GPU;

5.启动文件 webui-user.bat。2.创建python环境。4.下载模型，放到这里。