Datawhale AI 夏令营第三期siRNA赛道第二次笔记

第二次笔记是我对task2一些概念的总结，致力于去理解为什么我们需要用到RNN模型去处理siRNA的序列。

RNN模型分析

一、RNN的概念:又叫递归神经网络,是一种人工智能模型,擅长处理序列数据。

特点:这种模型能够记住以前的数据,并用记忆以前的这些数据来处理当前的数据。

二、局限性(缺点)

1.长期依赖问题：RNN 难以记住和利用很久以前的信息。这是因为在长序列中，随着时间步的增加，早期的信息会逐渐被后来的信息覆盖或淡化。

2.梯度消失和爆炸问题：在反向传播过程中，RNN 的梯度可能会变得非常小（梯度消失）或非常大（梯度爆炸），这会导致训练过程变得困难。

三、改进方式

引入LSTM和GRU模型

1.LSTM的引用

LSTM通过引用复杂的单元结构来解决RNN的局限性.其中,LSTM的单元包含三个门:(输入门、遗忘门和输出门)和一个记忆单元(细胞状态),门和细胞状态共同使用这使得LSTM更好地捕捉RNN模型处理中的数据与数据之间的长期依赖关系。

2.GRU的引用

GRU是LSTM的一种简化版,通过合并LSTM的一些门简化LSTM的结构。

GRU拥有两个门:更新门和重置门。

更新门：决定前一个时刻的状态和当前输入信息的结合程度。

重置门：决定忘记多少之前的信息。

总结

SiRNA的序列是一个有序的序列，通过RNN模型我们可以对SiRNA的特征序列如碱基对和结构进行有效处理,同时引用LSTM和GRU模型能对SiRNA序列处理进行优化，解决记忆序列和特征时候因为时间过长导致记忆丢失的问题，起到加强数据的作用。