博客用于记录深度学习各部分的学习记录,由于主要从事自然语言处理及数据挖掘方面的工作,CV方向常用模型不是很了解,大概整理的是NLP方向的学习脉络。陆续补充中。
大概目录会按照
1. 感知机(Perceptron; -> MLP,Multilayer Perceptron,多层感知机)
主要介绍单层感知机,也即是一层神经网络的概念及计算方式。引出多层感知机的概念
链接:感知机学习笔记
2. ANN(Artificial Neural Network,人工神经网络)
在感知机的基础上介绍多层神经网络,也即是MLP,本质上MLP与ANN相同。
3. CNN(卷积神经网络)
卷积神经网络介绍,包括卷积、池化等方法。简要介绍IDCNN。
4. RNN(循环神经网络)
循环神经网络介绍,基础RNN模型基础概念、适应场景、优缺点引出两种改进型。
链接:循环神经网络
5. LSTM(Long-Short-Term Memory,长短记忆网络)
LSTM模型介绍,LSTM的基本单元介绍。双向LSTM介绍。
6. GRU(Gated Recurrent Unit / Neural Network,门控循环单元)
GRU基本介绍,同LSTM的对比等。
7. Attention+Transformer(+ self-attention)
注意力机制介绍,自注意力机制介绍。以及Transformer模型的介绍。
8. BERT(Bidirectional Encoder Representation from Transformers)
BERT模型的介绍及集中改进型。陆续补充。