Datawhale AI 夏令营2024-cv--task2

一、深度学习是什么

深度学习(Deep Learning)是机器学习的一个分支，它使用神经网络模拟人脑的学习方式，从大量数据中自动学习和提取特征，进行预测和决策。
深度学习依赖于多层神经网络，每一层神经元接受前一层神经元的输出，并通过权重和激活函数进行计算，传递到下一层神经元。

神经元模型

神经元模型是模拟生物神经元行为的计算模型，它在人工智能和机器学习领域扮演着核心角色。
神经元就像人体大脑中的微小开关，能够接收来自其他神经元的信号，并根据这些信号的产生反应。
在人工智能中，我们用数学模型来模拟这种生物神经元的行为。一个简单的神经元模型包括输入、权重、激活函数和输出。
1.输入就像神经元树突 接收到的信号，
2.权重则像是调整信号强度的小调节器，
3. 激活函数决定是否产生输出，
4.而输出则是传递给其他神经元的信号。
 

从机器学习到深度学习

机器学习

通常使用相对简单的算法(如线性回归、决策树)处理数据。需要人工设计特征工程来提高模型性能。

深度学习

通过深层神经网络自动学习特征，能够处理和学习高维度和复杂的数据模式，适用于图像识别、自然语言处理等复杂任务。

机器学习算法通过数据进行训练，识别数据中的模式和规律，并在此基础上进行预测或决策。随着数据量的增加和算法的优化，机器学习模型能够不断改进其性能，使其在特定任务上表现得越来越好。
1. 线性回归：
线性假设：假设输入特征与输出标签之间存在线性关系。
独立同分布(IID)：训练集中的数据是独立且同分布的。
2. 决策树：
独立性假设：每个特征在决策过程中是相互独立的。
连续性假设：特征可以是连续的或离散的，算法通过找到最佳分割点来构建树。
3.神经网络：
非线性假设：通过非线性激活函数来建模数据中的复杂非线性关系。
层次化假设：通过分层结构来学习数据的不同层次和抽象。

入门学习，机器学习和深度学习的顺序

对于初学者来说，通常建议先学习基础的机器学习知识，再逐步过渡到深度学习。
首先了解什么是机器学习，它的应用领域，以及它的主要类型(监督学习、无监督学习、半监督学习和强化学习)。然后掌握一些经典的机器学习算法，如线性回归、逻辑回归、决策树、随机森林、SVM(支持向量机)、K-近邻(KNN)等。
接着从基础的神经网络结构开始，理解神经元、层、前向传播和反向传播等概念。
学习如何使用深度学习框架，如TensorFlow或PyTorch，它们提供了构建和训练深度学习模型所需的工具和API。掌握卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆网络(LSTM)和Transformer等模型。
 

二、深度学习如何训练得到

梯度下降算法

梯度下降（gradient descent）在机器学习中应用十分的广泛，不论是在线性回归还是Logistic回归中，它的主要目的是通过迭代找到目标函数的最小值，或者收敛到最小值。

参考、原文链接：http://t.csdnimg.cn/URJve

三、深度学习与迁移学习

迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

找到目标问题的相似性，迁移学习任务就是从相似性出发，将旧领域(domain)学习过的模型应用在新领域上。                      
参考、原文链接：https://blog.csdn.net/sikh_0529/article/details/126864397

四、常见的图形分类网络

AlexNet

AlexNet网络结构相对简单，使用了8层卷积神经网络，前5层是卷积层，剩下的3层是全连接层。

参考：http://t.csdnimg.cn/R2EQy

ResNet

Resnet在cnn图像方面有着非常突出的表现，利用 shortcut 短路连接，解决了深度网络中模型退化的问题。相比普通网络每两层/三层之间增加了短路机制，通过残差学习使深层的网络发挥出作用。
参考：https://blog.csdn.net/weixin_44001371/article/details/134192776

EfficientNet

EfficientNet 是一种高效的卷积神经网络架构，通过对网络的深度、宽度和分辨率进行统一的缩放来实现高效的模型设计，从而在保持准确性的同时降低了计算和参数量，是一种在计算资源有限的情况下获得高性能的解决方案。

参考：https://blog.csdn.net/ccsss22/article/details/129773002