1:这个软件的运行原理是什么?
通过对视频进行逐帧分析,将AB视频中的人脸提取出来,用聚类、模糊评判、变形、逼近等算法,对两张人脸表情进行同步, 同步率可以用LOSS值表示,当同步到满意效果后,将A视频的人脸用B视频中提取并处理后的人脸,进行逐帧替换,替换完成之后合成新的视频A,换脸完成。
2:如何才能得到满意的效果?
这个软件本质上是一种拟合算法,用B的脸去拟合A,正常的拟合过程,是一个数据收敛的过程,LOSS逐步减小,当LOSS缩小到极限值时,收敛完成,拟合成功,所以要得到好的效果,需要满足以下几个条件:
1、AB两个集合(人脸)的数据范围必须接近
举个反例:A视频中全是侧脸,B视频中全是正脸,拟合效果肯定比较差,因为两者的脸部数据范围不同
所以,如果想要好的效果,首先,B中能够获得与A中人脸数据同样大(或者更大)的范围
2、B的数据理论上应该大于A
被拟合对象A的数据范围应该被B覆盖,覆盖越多,拟合效果越好
反例1,A切出1000张脸,B只有10张,你用B去替换A,肯定不会有好结果
反例2,A分辨率720p,B分辨率480p,也不会有好结果
反例3,A人脸是百天的,B人脸是夜晚的,同样,没有好结果
3、A的数据波动范围不能太大
举个例子
A1是一个女主播对着镜头说话,全过程中脸的角度、远近几乎没变化,脸部也没有遮挡,这种情况可以认为数据波动很小
A2是一个科幻电影的女主角,全程都在快速切换镜头,脸部有各种遮挡,这种情况可以说是数据波动很大
被拟合对象A的数据波动越大,越难建立稳定的模型,拟合就越困难
这软件本质上就一个识别→截取→分类→特征解析→拟合→替换→生成的软件,加粗样式有那么点AI成分,但还谈不上神奇。