Datawhale AI 夏令营 task1 学习笔记

task0的感想

1.了解到了，kaggle的免费算力资源。平时会使用colab和实验室的服务器，当实验室服务器出问题或者colab时限到的时候会不知所措。（目前实验室服务器中毒，单靠colab那点儿算力根本不够用）算是为我提供了一点小小的帮助，毕竟蚊子腿也是肉，哈哈哈。

2.我的研究方向是扩散模型及其优化，也曾参与过AI图像异常检测的项目。然而，这次的Deepfake项目与之前的异常检测有所不同。在过去的工厂不良品检测中，错误是显而易见的，异常情况是无可争议的。然而，Deepfake检测需要通过图片的细节特征、光影、像素和背景等来发现人脸的违和感，有时甚至我都难以分辨真伪。这个项目可以看作是对我之前异常检测研究的拓展。之前我使用过F-anoGAN和simplenet进行异常检测，但这次的人脸识别由于人脸的多样性，F-anoGAN肯定是不合适的，也并非simplenet擅长的领域。因此，我对学习新方法以及如何将已掌握的方法应用到新领域充满期待。

task1学习笔记

深度伪造技术通常可以分为四个主流研究方向：

• 面部交换专注于在两个人的图像之间执行身份交换；

• 面部重演强调转移源运动和姿态；

• 说话面部生成专注于在角色生成中实现口型与文本内容的自然匹配；

• 面部属性编辑旨在修改目标图像的特定面部属性

如何识别Deepfake？

• 观察图片的细节。仔细检查人物的面部特征，尤其是眼睛和嘴巴，看是否有不自然的眨眼频率或口型与说话内容不同步的现象。

• 检查光线和阴影。分析图片中的光源是否一致，阴影的方向是否与光源相符，不自然的光线或阴影可能是图片被修改的迹象。

• 分析像素。放大图片，寻找是否有模糊或像素化的部分，这可能是Deepfake技术留下的瑕疵。

• 注意背景。检查背景中是否有不协调的元素，比如物体边缘是否平滑，背景中是否有不自然的重复模式。

机器学习与深度学习

监督学习：算法从标记的训练数据中学习，这些数据包含了输入和期望的输出。（需要人为标记数据，通过大量训练让模型越来越精准）

非监督学习：算法处理未标记的数据，试图找出数据中的结构和模式。（不需要标记数据，根据数据本身的特性，将不同特性的数据分出来）

机器学习：相对简单，可以高效解决简单问题，但面对复杂问题会力不从心。

深度学习：更复杂，但是需要大量训练来调整超参数，适合解决相对复杂的问题，但比起机器学习，需要花费更多的算力与时间。

如何提高分数

现阶段

增加训练数据，baseline中只训练了1000个，太少了，然后修改一下参数，看看残差网络的极限在哪里。

未来

数据集增强（旋转，缩放，颜色变换等）。

更换模型（在可允许的200m内选个最复杂的模型）。

想办法提高模型的鲁棒性，因为到时候的测试集可能比较杂。

其他方面还在想，之后可能会补充。