NLP
文章平均质量分 71
NLP
xiao___qiao
计科在读硕士,在自己的方向上,写一些自己的理解
展开
-
nlp GLUE 2020.5
GLUEsuper GLUE原创 2021-05-17 11:51:06 · 126 阅读 · 0 评论 -
fastbert bert蒸馏
目录1 目的和思想2 模型原理2.1 backbone2.2 branch3 知识点3.1 self-distillation3.2 Adaptive Inference4 源码1 目的和思想fastbert 模型的目的:用小模型替代大模型fastbert 的整体思想:自蒸馏、自适应推理模型出自论文: FastBERT: a Self-distilling BERT with Adaptive Inference Time2 模型原理模型训练:pre-training 与 bert 预训练一原创 2021-05-17 11:36:16 · 340 阅读 · 0 评论 -
transformer
目录1 模型原理1 encoding部分1 input embedding层2 positional encoding3 自注意力机制4 Add残差连接 和 Norm标准化5 Feed Forward 线性变换1 模型原理模型实现:encoding部分(左边)输入inputs通过 input embedding层positional encoding位置嵌入进入 encoding blockN * {muiti-head attention 自注意力机制Add残差连接 和 Norm标原创 2021-03-07 15:41:49 · 106 阅读 · 0 评论 -
seq2seq 对话,翻译
目录1 目的和思想2 模型原理2.1 PV-DM(段落向量的分布式存储模型)2.2 PV-DBOW (段落向量的分布式单词包版本)3 doc2vec 总结4 应用任务1 目的和思想seq2seq模型的目的:创建文档向量表示seq2seq 的整体思想:在word2vec的基础上增加了可训练句子的矩阵seq2seq原创 2021-01-18 17:40:39 · 212 阅读 · 0 评论 -
doc2vec 文档向量
目录1 目的和思想2 模型原理2.1 PV-DM(段落向量的分布式存储模型)2.2 PV-DBOW (段落向量的分布式单词包版本)3 doc2vec 总结4 应用任务1 目的和思想doc2vec 模型的目的:创建文档向量表示doc2vec 的整体思想:在word2vec的基础上增加了可训练句子的矩阵doc2vec 是无监督学习模型出自论文: Distributed Representations of Sentences and Documents2 模型原理模型实现(两种方法):PV-原创 2021-01-08 17:55:45 · 758 阅读 · 0 评论 -
C2W 词向量
目录1 目的和思想2 模型原理2.1 语言模型训练2.2 POS(词性标注任务)3 c2w 总结3.1 c2w 优缺点3.1.1 优点3.1.2 缺点4 应用1 目的和思想c2w模型的目的:求出能表示出词与词之间的关系的词向量c2w的整体思想:将单词的字符放在双向 LSTM 能够得到词向量模型出自论文: Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation2原创 2021-01-07 22:28:46 · 271 阅读 · 0 评论 -
char-cnn 分类
目录1 目的和思想2 模型原理3 char-cnn 总结1 目的和思想char-cnn 模型的目的:分类char-cnn 的整体思想:利用字符级别(以70个固定字符,以1014个文本中字符形成的one-hot 矩阵)进行卷积池化全连接,实现分类模型出自论文:Character-level Convolutional Networks for Text Classification2 模型原理模型实现:建立字符表共70(feature)个字符,将文本以1014(length)的字符进行截断,使原创 2021-01-05 21:38:23 · 380 阅读 · 0 评论 -
fasttext 词向量
目录1 目的和思想2 模型原理4 SVM 总结5 SVM 函数使用5.1 输入5.2 函数及参数5.3 输出及应用1 目的和思想fasttext 模型的目的:分类、词向量fasttext 的整体思想:用子词向量之和表示一个词2 模型原理模型实现:1.4 SVM 总结SVM 分类时训练数据如果非常大,时间消耗就会很大,同时对多分类问题效果不算太好5 SVM 函数使用5.1 输入特征值+目标值data = [[5.5, 4.7, 1.3, 0], [3.2, 7.2, 1原创 2021-01-05 17:30:09 · 1067 阅读 · 0 评论 -
textcnn 分类
目录1 目的和思想2 模型原理4 textcnn 总结5 textcnn 函数使用5.1 输入5.2 函数及参数5.3 输出及应用1 目的和思想textcnn 模型的目的:分类textcnn 的整体思想:cnn也可以用于nlp,filter不会左右移动,只往下移2 模型原理模型实现:输入词向量,每个词向量维度相同,不够的补零,多的去掉(卷积)用多个filter框词向量,框住的部分与filter做矩阵计算,得到一个值,依次往下移动(池化)将卷积后的矩阵进行池化,变为一个固定长度的矩阵(全连原创 2021-01-03 18:43:07 · 184 阅读 · 0 评论 -
Glove 词向量
目录1 目的和思想2 模型原理2.1 共现矩阵2.2 SVD奇异值分解2.3 回归5 超参数6 word2vec相关知识6.1 one-hot和分布式表示6.2 word-embedding(词嵌入)—分布式表示6.3 马尔科夫假设6.4 log-linear model (log线性模型)6.5 Glove 模型6.6 word2vec优缺点6.6.1 优点6.6.2 缺点7 word2vec 总结8 word2vec 函数使用8.1 输入8.2 函数及参数8.3 输出及应用1 目的和思想Glove模原创 2021-01-02 17:09:31 · 731 阅读 · 0 评论 -
TF-IDF 词向量
目录1 目的和思想2 tf-idf 总结3 tf-idf 函数使用3.1 CountVectorizer3.1.1 输入3.1.2 函数及参数3.1.3 输出及应用3.2 TfidfTransformer3.2.1 输入3.2.2 函数及参数3.2.3 输出及应用3.3 TfidfVectorizer3.3.1 输入3.3.2 函数及参数3.3.3 输出及应用1 目的和思想tf-idf 模型的目的:求出能表示出词与词之间的关系的词向量word2vec的整体思想:句子中相近的词之间是有联系的word2原创 2020-12-31 14:12:01 · 4616 阅读 · 1 评论 -
word2vec 词向量
目录目的和思想模型原理skip-gram的原理CBOW的原理归一化Hierarchical softmax(层次softmax)Negative Sampling(负采样)优化subsampling of frequent words(重采样)模型复杂度超参数word2vec相关知识one-hot和分布式表示word-embedding(词嵌入)—分布式表示马尔科夫假设log-linear model (log线性模型)Glove 模型word2vec优缺点优点缺点word2vec总结目的和思想word原创 2020-12-27 22:14:52 · 1297 阅读 · 2 评论