2301_80063666-CSDN博客

原创 datawhale 夏令营 AI+药物

本次采用了transformer模型，虽然整体效果在这个赛题中我调节的不如随机森林，但以下使笔者的一些感悟。为了更好的训练，笔者将N改为了数据集长度的0.4呗，依次递增。至于代码改进中出现的先后定义的问题，稍微改进一下就行了。之后将RNN改为transformer模型。在这个代码中最大的改进是更新了词汇表。形成一个更好的训练模型。

2024-08-03 23:42:54 219

对SMILES 字符串（一种用于表示化学结构的字符串）进行分词（tokenize），并将分词结果转换为索引，以便用于机器学习模型。首先定义一个RNN模型，值得注意的是这里使用了双向RNN，最后将两个方向的序列拼接起来。然后对CSV文件进行处理，将各种数据进行拼接，形成化学方程式的形式,返回一个列表。之后的代码主要是关于使用PyTorch进行深度学习模型训练的流程。为了防止出现词汇表以外的名词，对其进行遍历添加进词汇表。之后对数据进行处理，返回torch的张量。使用RNN模型预测化学反应的速率。

2024-07-30 23:57:18 251

原创 datawhale 夏令营 NPL

基于循环或卷积神经网络的序列到序列建模方法是现存机器翻译任务中的经典方法。然而，它们在建模文本长程依赖方面都存在一定的局限性。了更好地描述文字序列，谷歌的研究人员在 2017 年提出了一种新的模型 TransformerTransformer论文逐段精读【论文精读】Transformer 在原论文中第一次提出就是将其应用到机器翻译领域，它的出现使得机器翻译的性能和效率迈向了一个新的阶段。它摒弃了循环结构，并完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。在。

2024-07-20 23:10:58 1237