- 博客(3)
- 收藏
- 关注
RSS订阅原创 【datawhale X 魔搭 AI夏令营】task3学习笔记
主要用于对大型语言模型进行低秩适应，以减少计算需求和提高训练效率。这种技术通过仅训练低秩矩阵，然后将这些参数注入原始模型中，实现对模型的微调。LoRA不仅在自然语言处理（NLP）领域得到广泛应用，还适用于计算机视觉等其他领域。LoRA的核心思想是通过引入低秩矩阵来对预训练语言模型的部分权重矩阵进行适应性调整，而不是改变整个模型的参数。LoRA选取预训练模型的某些关键层（通常是注意力层），在这些层的权重矩阵上添加一个低秩矩阵。这个低秩矩阵被初始化为随机值，并在微调过程中进行更新。
2024-08-16 08:49:26
670
原创 【Datawhale X 魔搭 AI夏令营】第四期 AIGC方向 学习笔记
使用列表推导式，将四张名为"1.jpg"、"2.jpg"、"3.jpg"的图片分别读取为numpy数组，并将它们存储在名为images的列表中。6、使用PIL库打开字典中"image"字段的第一个元素所表示的图像文件，并将其保存到"lora_dataset_processed/train"文件夹下，文件名为当前数据的索引值加上".jpg"后缀。的函数，该函数接受一个模型、LoRA的秩（rank）、LoRA的alpha值和LoRA模型的路径作为输入参数，返回加载了LoRA权重的模型。
2024-08-11 09:57:20
1649
原创 【Datawhale AI夏令营】|从零入门机器学习竞赛笔记
是一款基于决策树算法的分布式梯度提升框架，旨在提供快速高效、低内存占用、高准确率的模型训练工具。它通过多种优化手段，解决了传统GBDT在面对海量数据时遇到的效率和内存瓶颈问题，使其更适用于工业级应用。
2024-07-14 16:44:23
1573
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人