![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
NLP技术
AI-learner6868
Ai从业者,乐于分享,多多指教
展开
-
bert生成句子向量
bert生成句子向量1. bert中文语料库下载2. 如何使用bert的词向量3.直接使用bert源码生成词向量1.下载bert项目2.下载中文预训练模型3.加载下载的预训练模型参数进行句向量特征提取BERT本质上是一个两段式的NLP模型。第一个阶段叫做:Pre-training,跟WordEmbedding类似,利用现有无标记的语料训练一个语言模型。第二个阶段叫做:Fine-tuning,利用预训练好的语言模型,完成具体的NLP下游任务。1. bert中文语料库下载Google已经投入了大规模的语料原创 2020-08-18 21:58:52 · 2238 阅读 · 3 评论 -
word2vec原理(三)基于Negative Sampling 的模型
基于Negative Sampling 的模型1.CBOW模型1.1cbow原理1.2 cbow 梯度上升1.3 cbow更新伪代码2. skip-gram模型2.1 skip-gram 原理2.2 skip-gram 随机梯度上升法2.3 skip-gram 参数更新伪代码3.负采样算法此章节将介绍基于Negative Sampling的CBOW和skip-gram模型。Negative Sampling(简称NEG)是Tomas Mikolov等人提出的,它是NCG(Noise Contrastive原创 2020-08-17 21:55:45 · 297 阅读 · 1 评论 -
word2vec 原理(二)基于 Hierarchical Softmax 的模型
基于 Hierarchical Softmax 的模型1. negative sampling and hierarchical softmax2. CBOW model2.1 原理图2.2 梯度下降1. negative sampling and hierarchical softmax由于softmax运算考虑了背景词可能是词典 V 中的任一词,以上损失包含了词典大小数目的项的累加。在上一节中我们看到,不论是skip-gram模型还是cbow模型,由于条件概率使用了softmax运算,每一步的梯度计原创 2020-08-08 18:45:01 · 324 阅读 · 0 评论 -
Word2Vec原理(一)
word2vec原理词嵌入(word2vec)1.为何不采用one-hot向量2.skip-gram模型2.1 skip-gram原理+最大似然2.2 skip-gram模型梯度下降3. CBOW模型3.1 CBOW原理+最大似然3.2 CBOW模型梯度下降4. 小结5. 思考词嵌入(word2vec)自然语言是一套用来表达含义的复杂系统。在这套系统中,词是表义的基本单元。顾名思义,词向量是用来表示词的向量,也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌入(word embeddin原创 2020-08-07 21:37:48 · 252 阅读 · 0 评论 -
文本词向量:词集模型、词典模型、TF-IDF
文本词向量:词集模型、词典模型、TF-IDF1.词集模型2.词袋模型3.词袋模型CountVectorizer实现3.1 词袋化/向量化3.2 使用现有词袋的特征,对其他文本进行特征提取4.TF-IDF4.1 原理4.2 sklearn进行TF-IDF预处理4.3 TF-IDF小结:文本特征提取有两个非常重要的模型:词集模型:单词构成的集合,集合自然每个元素都只有一个,也即词集中的每个单词都只有一个。词袋模型:在词集的基础上如果一个单词在文档中出现不止一次,统计其出现的次数(频数)。两者原创 2020-08-06 23:23:00 · 1615 阅读 · 0 评论