![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
deepfake
文章平均质量分 53
论文及代码解释
CON_DUCT
网安在读,将持续发布有关算法优化,密码学,系统原理等文章。
展开
-
读 DeepFake detection with multi-scale convolution and vision transformer 第五期:VIT
偶然看到的一个流程图,应该还是总结的很清楚的。原创 2023-05-18 17:19:28 · 187 阅读 · 1 评论 -
读 DeepFake detection with multi-scale convolution and vision transformer 第四期:Attention
qkv的生成可以直接通过全连接层实现,q乘k是点乘,向量点乘越大表示夹角越小,相似度越大,因为a点乘b等于|a||b|cos。q通过点乘n个k得到n个α,α越大表示和对应的a相似度越大,除以0.5次方的dimension通过softmax得到a’,然后乘以value得到b,认为b1含有各个与a1相关的较多的信息。可以用不用的q来负责不同种类的相关性,所以使用可以使用multihead,即直接将qkv均分称若干组,组内进行上述运算,最后再融合在一起。原创 2023-05-18 16:37:22 · 116 阅读 · 0 评论 -
读 DeepFake detection with multi-scale convolution and vision transformer 第三期:卷积部分
有了上两期的基础,已经可以慢慢的把网络搭建起来了,这里需要提醒的是因为论文采用的是EfficientNet-b4中的MBConv所以需要根据width_coefficient来调整通道,但是又并没有明确规定过程中的通道数,所以以下的代码的通道参数还需要再斟酌一下,我在预处理模块基本采取了EfficientNet-b4的过程,而在后面则统一规定通道数不变。原创 2023-05-13 15:20:18 · 194 阅读 · 0 评论 -
读 DeepFake detection with multi-scale convolution and vision transformer 第二期:深度可分离卷积
上一期在MBConv含有了Depthwise convolution,我在注释中提到Conv2d中的group参数可以决定是普通卷积还是逐深度卷积,但没有解释为什么。因为论文也含有深度可分离卷积所以打算说清楚一点。而逐点卷积即用kernel_size=1的卷积核进行常规卷积。原创 2023-05-12 23:05:11 · 117 阅读 · 0 评论 -
读 DeepFake detection with multi-scale convolution and vision transformer 第一期:MBConv
MBConv由下图组成。MBConv6指第一层1*1卷积层的卷积核个数为6,若是MBConv1则第一层可以省略。以下是MBConv网络的详细代码及注释,主要是根据上图的流程搭建。原创 2023-05-11 22:48:03 · 820 阅读 · 0 评论