- 博客(6)
- 收藏
- 关注
RSS订阅原创 Datawhale AI夏令营第四期AIGC方向Task2学习笔记
定义了一个类，继承自，用于处理DataFrame中的数据。创建数据加载器DataLoader来批量加载数据。
2024-08-13 15:14:12
1472
原创 Datawhale AI夏令营第四期AIGC方向Task1学习笔记
LoRA是一种轻量级的微调方法，主要用于自然语言处理和计算机视觉等领域，LoRA不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用，这次学习的是文生图，所以使用的是Stable Diffusion中的LoRA模型。根据对Baseline代码的分析，使用LoRA方法的一些步骤如下：1.设置LoRA参数，如：lora_rank, lora_alpha, lora_path等，并选定目标model。2.加载目标model。])3.将LoRA应用到选定的模型中。pipe.unet,
2024-08-11 15:57:07
302
原创 Datawhale AI 夏令营生命科学方向Task2学习笔记
后续我甚至调整到了200000迭代次数，不过魔搭环境出现了明显地卡顿，且结果过拟合查阅资料后，若要对lightgbm模型的过拟合现象进行控制，可使用早停法和正则化，简单了解下，前者通过设置一个耐心值指定在连续多少个迭代（轮次）中，如果验证集的性能没有改善，就停止训练，而后者通过lightgbm提供的正则化参数，进行特征选择或保持模型对特征依赖权重的相对平衡，更为详细的内容在以后的学习中再深入了解。这是因为在长序列中，随着时间步的增加，早期的信息会逐渐被后来的信息覆盖或淡化。构建，首先对索引进行了。
2024-07-31 23:33:55
520
原创 Datawhale AI 夏令营生命科学方向Task1学习笔记
本次siRNA药物药预测主要通过深度学习模型预测化学修饰siRNA序列数据预测其对应的信使RNA的沉默效率，从而指导siRNA药物设计。
2024-07-27 23:06:50
303
原创 Datawhale AI 夏令营Task3笔记
层归一化是在特征层面进行标准化，不依赖于批次的统计信息，而是对单个样本的所有特征进行标准化，这使得层归一化可以更好地处理变长的序列数据，有效地缓解优化过程中潜在的不稳定、收敛速度慢等问题。三个元素，在编码输入序列中每一个单词的表示的过程中，这三个元素用于计算上下文单词所对应的权重得分，从而反映了在编码当前单词的表示时，对于上下文不同部分所需要的关注程度。解码器的结构与编码器类似，但是有一个额外的自注意力机制，用于掩盖后续的文本信息，以防模型在训练阶段直接看到后续的文本序列进而无法得到有效地训练。
2024-07-20 23:11:37
320
原创 Datawhale AI 夏令营Task2学习笔记
随着文本序列的进一步增加，翻译性能的评价指标 BLEU 的值就开始出现明显地下降，因此，引入注意力机制更加有效地从编码器向解码器传递源语言信息，提高翻译的准确性和流畅性。：在编码器的每个时间步，它会考虑当前输入词以及之前的上下文信息，以在整个序列上建模依赖关系。在每个时间步，解码器会根据当前解码的词、上一个时间步的隐藏状态以及上下文向量，预测下一个目标词的概率分布。：最终，编码器将所有时间步的特征表示合并为一个上下文向量（，它包含了整个输入序列的信息。这个上下文向量相当于编码器提供的输入序列的语义表示。
2024-07-17 12:35:59
1358
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人