![1d922856740e8b36bf60a235e6137f4d.png](https://i-blog.csdnimg.cn/blog_migrate/84e1ab39f5a61e204eaec2e99c2c6edb.jpeg)
阶段概述:
本阶段讲解,词向量、词嵌入、RNN、LSTM、孪生网络、CNN 在 NLP 中的应用、Attention 注意力机制、Transformer、BERT
达成目标:
通过本阶段学习,掌握 NLP 中词的各种向量表达,从古典的 Word2Vec 方式到现代的 BERT 方式,学好这些 NLP 特征提取的主干网络,才能在 NLP 各项任务中产生好的效果。这阶段 也将掌握大量 NLP 任务的实战开发。
实战教学项目:
- TF 代码实现 Word2Vec 算法项目
- 深度学习用户画像项目
- 电影评论情感分析案例
- 机器写唐诗案例
- 产生式自动聊天机器人
- POS 词性标注案例
- NER 命名实体识别案例
- 语义相似度分析案例
- Bert as service 开源项目
词向量与词嵌入
- TFIDF
- Word2Vec 算法
- Gensim 模块
- Skip-gram
- TF 代码实现 Word2Vec 算法项目
- FastText
- Word Embedding
- 深度学习用户画像项目
![b9c5440c04dede072b9c291427faeca1.png](https://i-blog.csdnimg.cn/blog_migrate/8c4ae20a0bce2c69af7808ed7834b932.png)
循环神经网络原理与优化
- Vanilla RNN
- Basic RNN 实现 MNIST 手写数字图片识别
- LSTM 长短时记忆
- GRU 与双向 LSTM
- 电影评论情感分析案例
- Seq2Seq
- 机器写唐诗案例
- CNN+LSTM+CRF
- POS tagging 词性标注案例
- NER 命名实体识别案例
- 孪生网络
- 语义相似度分析案例
![4fda891600b7d0833be3a9f6924175fa.png](https://i-blog.csdnimg.cn/blog_migrate/d2c32d87c73f0c453f9e31fbd6712ca4.png)
Transformer 和 Bert
- Attention 注意力机制
- Attention 算法流程
- Transformer
- Self-Attention 机制
- Multi-Head Attention
- Bert
- Bert as service 开源项目
![429ecb0df21b119850b8790ef67448d2.png](https://i-blog.csdnimg.cn/blog_migrate/44a93b9cc43de69309207d129bda0786.png)
![b0602379fd7c4eeea5553ca66593e33d.png](https://i-blog.csdnimg.cn/blog_migrate/4a95e6a2754f2c6bc7fe5a5027d92dfa.jpeg)