NLP
hongyesuifeng
奋斗在路上,努力充电中。
展开
-
NLP Task5
学习内容 朴素贝叶斯 朴素贝叶斯的原理 利用朴素贝叶斯模型进行文本分类 SVM模型 SVM的原理 利用SVM模型进行文本分类 LDA主题模型 pLSA、共轭先验分布 LDA 使用LDA生成主题特征,在之前特征的基础上加入主题特征进行文本分类 LDA数学八卦 ...原创 2019-05-20 21:03:22 · 218 阅读 · 0 评论 -
NLP TASK8 循环和递归神经网络
学习任务 RNN的结构。循环神经网络的提出背景、优缺点。着重学习RNN的反向传播、RNN出现的问题(梯度问题、长期依赖问题)、BPTT算法。 双向RNN 递归神经网络 LSTM、GRU的结构、提出背景、优缺点。 针对梯度消失(LSTM等其他门控RNN)、梯度爆炸(梯度截断)的解决方案。 Memory Network(自选) Text-RNN的原理。 利用Text-RNN模型来进行文本分类。 Rec...原创 2019-05-26 13:17:45 · 449 阅读 · 0 评论 -
NLP TASK6 神经网络基础
学习内容 前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。 感知机相关;定义简单的几层网络(激活函数sigmoid),递归使用链式法则来实现反向传播。 激活函数的种类以及各自的提出背景、优缺点。(和线性模型对比,线性模型的局限性,去线性化) 深度学习中的正则化(参数范数惩罚:L1正则化、L2正则化;数据集增强;噪声添加;early stop;Dropout层)、正则化的介...原创 2019-05-22 14:44:48 · 978 阅读 · 1 评论 -
NLP TASK9 Attention原理
任务 基本的Attention原理。 HAN的原理(Hierarchical Attention Networks)。 利用Attention模型进行文本分类。 学习笔记 Attention原理 Attention是一种用于提升基于RNN(LSTM或GRU)的Encoder + Decoder模型的效果的的机制(Mechanism),一般称为Attention Mechanism。Attentio...原创 2019-05-26 23:38:53 · 241 阅读 · 0 评论 -
NLP TASK7 卷积神经网络
学习内容 卷积运算的定义、动机(稀疏权重、参数共享、等变表示)。一维卷积运算和二维卷积运算。 池化运算的定义、种类(最大池化、平均池化等)、动机。 Text-CNN的原理。 利用Text-CNN模型来进行文本分类。 参考答案 内容笔记 卷积 卷积定义: 卷积是一类数学运算,通常计算方式为: s(t)=(x∗w)(t)=∑a=−∞∞x(a)w(t−a)s(t)=(x*w)(t)=\sum_{a=-\...原创 2019-05-26 00:58:43 · 246 阅读 · 0 评论 -
NLP TASK10 bert
学习任务 Transformer的原理 BERT的原理 利用预训练的BERT模型将句子转换为句向量,进行文本分类1 学习笔记 Transformer原理 Transformer原理:Attention Is All You Need:https://arxiv.org/abs/1706.03762 Transformer是一种完全基于Attention机制来加速深度学习训练过程的算法模型。Tran...原创 2019-05-30 20:36:22 · 530 阅读 · 0 评论