- 博客(6)
- 收藏
- 关注
RSS订阅原创 @Datawhale AI 物质科学task3 打卡笔记
oss_in_a_epoch在被赋值前调用，将scheduler.step(loss_in_a_epoch)放置loss_in_a_epoch后即可解决reference问题。此笔记为物质科学task3打卡笔记，在Task2中，我们的任务是了解Transformer并使用Transformer建模SMILES。1.调整epoch：我们可以提高epoch，epoch越大，一般拟合效果会越好，但是会花更多时间，也有可能出现过拟合情况。2.调整模型大小：我们可以调整中间向量的维度、模型得层数、注意力头的个数。
2024-08-01 23:33:35
135
原创 @Datawhale AI 逻辑推理task3 打卡笔记
它的设计目标是在实时应用场景中大幅提升语言模型服务的吞吐量和内存使用效率。LoRA微调是一种高效的模型微调技术，特别适用于大型预训练语言模型的适应性调整。LoRA的核心思想是通过引入低秩矩阵来调整模型的权重，从而在不显著增加模型参数数量的情况下，实现对模型的微调。2.开启vllm加速后会一直运行，请不要关闭，直接运行baseline2的代码即可加速。运行时间大概为10分钟，相比没有加速大概快了一个小时！本期task我们学习了LoRA微调的方案，同时我们还使用vllm加速推理的方法，更快得到结果。
2024-08-01 19:50:55
166
原创 @Datawhale AI 物质科学task2 打卡笔记
这是一种将化学分子用ASCII字符表示的方法，它能将化学分子中涉及的原子、键、电荷等信息，用对应的ASCII字符表示；生成和优化3D结构。此笔记为物质科学task2打卡笔记，在Task2中，我们的任务是进一步了解AI4Science相关知识，然后使用深度学习的方法建模。分子指纹是一个具有固定长度的位向量（即由0，1组成），其中，每个为1的值表示这个分子具有某些特定的化学结构。1.本次task计算机通过深度学习来寻找特征，而第一次task相当于有我们的指点，故task2的得分可能没task1高。
2024-07-30 14:31:31
146
原创 @Datawhale AI 逻辑推理task2 打卡笔记
此笔记为逻辑推理task2 打卡笔记，本期task2主要任务是搞清楚baseline讲了些啥，为什么这样用。在此基础上优化代码，进一步上分。😎😎大模型，也就是Large Language Model，缩写LLM，是我们这次比赛的关键法宝。它在提供自然语言指令或多个任务示例的情况下，通过理解上下文并生成相应输出来执行任务。本次大模型推理采用的方法是提示工程(Prompt Engineering)，它可以通过结构化文本等方式来完善提示词，引导LLM输出我们期望的结果。而我们这次使用了尚未微调的开源模型Qwe
2024-07-29 22:18:51
374
原创 @Datawhale AI 逻辑推理task1 打卡笔记
逻辑规则嵌入：在模型中添加逻辑规则，例如，如果模型是神经网络，可以考虑使用神经符号集成（Neuro-Symbolic Integration）技术，其中逻辑规则被编码为网络的一部分。训练模型: 使用已知正确答案的题目作为训练数据，将问题和选项的特征向量输入模型，并标记正确的答案。解决新问题: 对于新的选择题，模型会接收问题和选项的特征向量作为输入，并输出每个选项的概率或分数，最高分的选项即为模型认为的正确答案。元学习：让模型学习如何学习，通过在多个相关任务上训练，使模型能够更快地适应新类型的选择题。
2024-07-27 20:12:28
288
原创 @Datawhale AI 物质科学task1 打卡笔记
本次比赛提供在药物合成中常见的多种催化反应实验数据，其中包括反应的底物、包括催化剂在内的反应添加剂、反应溶剂以及反应产物，期待选手通过分析反应数据，利用机器学习、深度学习算法或者大语言模型，建立。然后将Reactant1,Reactant2,Product,Additive,Solvent字段的向量拼接到一起，组成一个更长的向量。进行合理的特征化，运用机器学习模型或者深度学习模型拟合预测反应的。或者利用训练集数据对开源大语言模型进行微调以预测反应的产率。预测模型，从而辅助未知新反应的反应条件筛选。
2024-07-27 19:58:24
265
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人