Datawhale AI 夏令营baseline1精讲

预训练模型使用 深度学习模型训练流程 性能评估

深度学习（deep learning）使用神经元模拟人脑 从大量数据中自动学习和提取特征，进行决策。

依赖多层神经网络，每一层神经元接受前一层神经元的输出，并通过权重和激活函数进行计算，传递到下一层神经元。

机器学习：使用相对简单的算法（线性回归，决策树，神经网络）处理数据，需要人工设计特征工程提高模型性能

深度学习：通过深层网络自动学习特征，处理和学习高维度和复杂的数据模式。

深度学习端到端

机器学习：线性回归，逻辑回归，决策树，随机森林，svm(支持向量机)，k-近邻

神经网络，理解神经元，层，前向传播，反向传播。

pytorch tensorflow提供构建和训练学习模型所需的工具和api

卷积神经网络（CNN），循环神经网络（RNN），长短期记忆网络（LSTM）和transformer

梯度下降

最小化函数，损失函数的梯度指向增长最快的方向

为了减少损失函数的值，我们需要沿着梯度的反方向调整函数的模型

 

 迁移学习，它将在一个任务上学到的知识（如模型参数，特征表示）应用到另一个相关任务上，允许模型在数据稀缺的情况下也能出色表现。 

imagenet 数据集（1400万张）成为深度学习模型训练和评估的理想数据集，这种多样性使得imagenet上训练的模型能够学习到鲁棒的特性。