- 博客(6)
- 收藏
- 关注
RSS订阅原创 Datawhale AI 夏令营——从零入门NLP竞赛 Task 03 笔记
1. 背景与动机传统方法局限性：循环神经网络（RNN）和卷积神经网络（CNN）在处理长序列依赖时存在局限性。RNN问题：随着序列长度增加，早期上下文信息逐渐遗忘。CNN问题：受限的上下文窗口和多层卷积操作导致信息传递损失。2. Transformer模型提出背景：2017年由谷歌研究人员提出，用于解决传统方法在长序列依赖建模中的不足。核心思想：完全通过注意力机制完成对源语言和目标语言序列全局依赖的建模。3. 主要组件编码器（Encoder）：将输入序列转换为连续表示。
2024-07-18 02:27:44
788
原创 从零入门CV图像竞赛(Deepfake攻防) Task 03 笔记
1. 数据增强目的：2. 数据增强方法：3. 图像数据增强：4. 变换操作注意事项：5. PyTorch数据增强示例：6. 具体操作步骤：7. 数据加载器配置：8. 归一化的重要性：9. 验证集处理：1. 数据增强目的：2. torchvision.transforms模块：3. 几何变换：4. 颜色变换：5. 自动增强：6. 数据增强应用：7. 数据增强策略：1. MixUp2. MixUp的优点：3. CutMix4. CutMix的优点：5. 数据增强的应用：6. 注意事项：
2024-07-18 02:07:44
636
原创 Datawhale AI 夏令营——从零入门NLP竞赛 Task 02 笔记
数据增强策略：数据集管理：拓展思考：核心概念：编码器结构：解码器结构：模型工作流程：性能挑战：解决方案：模型示例：关键参数：性能评估：模型优化方向：1. 定义与目的2. 门控机制3. 隐藏状态更新4. 参数与训练5. 应用场景6. 与其他RNN变体的比较7. 实现注意事项1. 评价重要性：2. 评价方法：3. 评价标准：4. 自动评价方法：5. 评价逻辑关系：6. 评价应用：7. 未来发展方向：
2024-07-18 00:06:38
476
原创 从零入门CV图像竞赛(Deepfake攻防) Task 02 笔记
常见的损失函数包括均方误差（MSE）和交叉熵损失。：将数据集分成小批量 𝐵B 进行训练，每次只处理一个批次的数据。：梯度下降算法通过计算损失函数 𝐿 关于模型参数 𝜃 的梯度。：梯度是损失函数对模型参数的导数，指示了参数调整的方向。：通过不断迭代，最小化损失函数，优化模型预测的准确性。：计算损失函数关于每个参数的梯度，使用链式法则。其中，𝜂 是学习率，控制参数更新的步长。其中，𝐿(𝜃)是整个训练集上的损失函数。其中，𝑓表示神经网络的前向传播函数。：使用损失函数计算当前批次的损失。，调整参数以减少损失。
2024-07-17 23:50:30
541
原创 Datawhale AI 夏令营——从零入门NLP竞赛 Task 01 笔记
然后执行𝐾次模型训练和验证，每次在𝐾−1个子集上进行训练， 并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。从1990s到2000s，随着计算能力提升和大规模语料库的出现，统计方法通过分析双语文本自动学习语言对应关系，改善了多义词处理，但对训练数据依赖性强，对资源匮乏语言支持不足。作用：测试集用于最终评估模型的性能，是在模型训练和调参完全完成后，用来衡量模型实际应用效果的一组数据。目标：通过在开发集上的性能评估，选择最佳的模型配置，避免模型在训练集上过度拟合，确保模型的泛化能力。
2024-07-14 20:19:11
278
原创 从零入门CV图像竞赛(Deepfake攻防) Task 01 笔记
设置训练模式：通过调用将模型设置为训练模式。在训练模式下，模型的某些层（如BatchNorm和Dropout）会按照它们在训练期间应有的方式运行。遍历数据加载器：使用遍历提供的数据批次。input是批次中的图像数据，target是对应的标签。数据移动到GPU：通过将数据和标签移动到GPU上。参数设置为True意味着如果数据正在被复制到GPU，此操作会立即返回，不会等待数据传输完成。前向传播：通过进行前向传播，计算模型对输入数据的预测。计算损失：使用损失函数计算预测输出和目标标签之间的差异。梯度归零。
2024-07-12 01:07:59
490
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人