这次学习中我了解到一系列的概念,如RNN、LSTM、特征工程等等,接下来我会讲讲我所学到的。
RNN
RNN全称是递归神经网络(Recurrent Neural Network),它是一个适合处理时间序列的深度学习模型。它的最大特点就是能“读上下文”,也就是能记住前面的信息,也能处理序列后面的信息。这使得它在自然语言处理问题、时间序列问题等领域十分出色。但它也有缺点——丢失十分早期的信息和梯度消失、爆炸(梯度消失、爆炸还在了解中),由此也衍生出LSTM。
LSTM
LSTM在我看来是RNN的升级版,而使它脱颖而出的是一个关键的门机制———输入门、遗忘门和输出门。输入门决定哪些信息该被储存,遗忘门决定哪些信息该被丢弃,输出门决定下一个时间输入门的输入。这能够很好地保存信息,并且能保存下早期的信息。
这一次task2的代码是将序列输入到GRU中,GRU也就是LSTM的简化版,它只有更新门和重置门,但也能解决掉RNN的缺点。
特征工程
官方baseline的特征太少导致结果并不是很好,而t在直播中也提到观察基因序列的特点或者它的编码,从中提取到特征,可以将其变为一个n分类的问题,再利用机器学习的知识解决问题。
这是本小白的一点了解,后续还会在特征工程上下功夫,去理解理解代码,看看有没有提升。