Datawhale AI 夏令营：从零入门CV图像竞赛(Deepfake攻防)----Task 2

Task2：从baseline入门深度学习

Part1 深度学习是什么？

深度学习依赖于多层神经网络，每一层神经元接受前一层神经元的输出，并通过权重和激活函数进行计算，传递到下一层神经元。

一个简单的神经元模型包括输入、权重、激活函数和输出。

1. 输入就像神经元 树突 接收到的信号，

2. 权重则像是调整信号强度的小调节器，

3. 激活函数决定是否产生输出，

4. 而输出则是传递给其他神经元的信号。

 

深度学习则是由这些神经元模型层层堆叠起来的复杂结构。

深度将它们按照一定的层次连接起来，形成一个庞大的网络。这个网络的最底层接收输入数据，比如图片或文本，然后通过每一层的处理，逐渐提取出更高级别的特征，最后在顶层输出结果，比如识别图片中的物体或理解文本的含义。

 

为了进一步提高模型的准确性和泛化能力，科学家们引入了各种优化技术和算法，如

1. 激活函数Activation Fuction的改进、

2. 权重初始化Weight Initilization方法、

3. 正则化技术Normalization以及

4. 梯度下降的变种Gradient Gescent Optimization Algoritms 。

5. 他们还开发了新的网络结构Network Structure，如卷积神经网络（CNN）和循环神经网络（ RNN ），以适应不同类型的数据和任务。

 

Part2 深度学习如何训练的？

梯度下降是一种优化算法，用于最小化函数。

梯度下降算法基于这样一个原理：损失函数的梯度指向函数增长最快的方向。

当数据集非常大时，一次性处理所有数据可能会导致内存不足或计算过于缓慢。

通过将数据分成小批量，我们可以更频繁地更新模型参数，这使得训练过程更加高效。

Part3 深度学习与迁移学习

迁移学习是一种机器学习技术，它将已在一个任务上学到的知识（如模型参数、特征表示等）应用到另一个相关任务上。

通常使用在大规模数据集上预训练的模型作为起点，例如在ImageNet数据集上预训练的卷积神经网络（CNN）。在预训练模型的基础上，使用少量标记数据对模型进行微调，以适应新任务。

迁移学习的实现方法

微调（Fine-tuning）是深度学习中一种有效的迁移学习策略，它允许我们利用预训练模型对特定任务进行优化。

其基本原理是，首先在一个大规模的数据集上预训练一个深度学习模型，捕捉通用的特征表示，

然后将这个预训练模型作为起点，在目标任务上进行进一步的训练以提升模型的性能。

 Part4 常见的图像分类网络

AlexNet，https://en.wikipedia.org/wiki/AlexNet

ResNet，https://en.wikipedia.org/wiki/Residual_neural_network

EfficientNet，https://paperswithcode.com/method/efficientnet