[[appendix/Task2_RNN.ipynb|Task2_RNN.ipynb]]
本次的任务是进一步了解 AI4Science 相关知识,然后使用深度学习的方法建模。
你可以从中:了解一些相关历史、了解 SMILES 和分子指纹,并对 RDkit 工具包有更深的认识;探究深度学习方法如何建模化学中的序列问题。
随着计算机技术的发展,将化学知识用计算机存储的方法也一直在发展和进步
AI4Chemistry知识点补充
早期历史
AI4Science的发展历史大致也经历这三个阶段:
- 将化学知识以计算机形式存储,并构建数据库
- 机器学习
- 深度学习
SMILES
Simplified Molecular Input Line Entry Syetem, SMILES, 将化学分子用ASCII字符表示,在化学信息学领域举足轻重
![[appendix/Pasted image 20240730094417.png]]
事实上,使用图数据(grpah)表示分子是非常合适的。图网络相比于基于SMILES的序列网络,在某些方面会更胜一筹
分子指纹
分子指纹是一个具有固定长度的位向量(即由0,1组成),其中,每个为1的值表示这个分子具有某些特定的化学结构。
通常,分子指纹的维度都是上千的,也即记录了上千个子结构是否出现在分子中。
RDkit
化学信息学中主要的工具
几乎所有的与化学信息学相关的内容都可以在网站上找到
示例代码略
机器学习
//之前无背景知识,复制过来学习
机器学习按照目标可以分为分类任务(classification)和回归(regression)任务两大类。
所谓分类任务,就是模型预测的结果是离散的值,例如类别;那么,回归任务中,模型预测的结果就是连续的值,例如房价等等。
在本次竞赛中,我们需要预测的目标是反应的产率,是0-1之间的一个连续的数值,所以是一个回归任务。
//离散值通过一些处理可以近似认为是连续值
![[appendix/Pasted image 20240730103640.png]]
划分每个节点的目标是让该节点中的值尽可能相同。
在分类任务中,常见的就是信息熵衡量;在回归任务中,可以使用均方误差、绝对误差等进行衡量。
![[appendix/Pasted image 20240730103557.png]]
将多个决策树结合在一起,训练每个决策树的数据集都是随机有放回地从原数据中选出。预测的时候,输入会通过每个决策树进行预测,然后考虑每个树地输出结果,得到最终的预测值。
深度学习
深度学习可以归为机器学习的一个子集,主要通过神经网络学习数据的特征和分布。深度学习的一个重要进化是不再需要繁琐的特征工程,让神经网络自己从里面学习特征。
SMILES是一种以ASCII组成的序列,可以被理解为一种“化学语言”。既然是一种语言,那么很自然地想到了可以使用NLP中的方法对SMILES进行建模。
使用RNN对SMILES建模是早期的一个主要方法。RNN(Recurrent Neural Network)是处理序列数据的一把好手。RNN的网络每层除了会有自己的输出以外,还会输出一个隐向量到下一层。
![[appendix/Pasted image 20240730104819.png]]
其中,每一层相当于做了一次线性变换:
h
n
=
σ
(
W
h
h
h
n
−
1
+
W
h
x
x
n
+
b
n
)
h_{n}=\sigma(W_{hh}h_{n-1}+W_{hx}x_{n}+b_{n})
hn=σ(Whhhn−1+Whxxn+bn)
每层的输出:
y
n
=
S
o
f
t
m
a
x
(
V
h
n
+
c
)
y_{n}=Softmax(Vh_{n}+c)
yn=Softmax(Vhn+c)
但是RNN也有缺点:如果序列太长,那么两个相距比较远的字符之间的联系需要通过多个隐藏向量。这就像人和人之间传话一样,传递的人多了,很容易导致信息的损失或者扭曲。因此,它对长序列的记忆能力较弱。
同时,RNN需要一层一层地传递,所以并行能力差,比较容易出现梯度消失或梯度爆炸问题。
在后面学习中,我们会继续学习使用Transformer这种架构,这种架构就完美解决了长序列学习能力差、难以并行、出现梯度消失或者爆炸等问题。
实践部分
略
课后思考
机器学习实践还是第一次
跑完不用花太多时间,太好了
最近在本地笔记本尝试玩AI,深感配置不足,最终投向阿里云的怀抱