![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp理论知识
王一一爱吃肉
蜗牛。
展开
-
2021-05-19
自然语言处理中token和tokenization是什么简单来说,tokenization就是通常所说的分词,分出的每一个词语我们把它称为token。tokenization,也叫word segmentation,分词,是一种操作,它按照特定需求,把文本切分成一个字符串序列(其元素一般称为token,或者叫词语)。一般来说,我们要求序列的元素有一定的意义,比如“text mining is time-consuming”需要处理成"text mining/ is/ time-consuming",其中原创 2021-05-19 10:32:45 · 144 阅读 · 0 评论 -
GPT的前世今生
GPT、GPT-2、GPT-3对比1.GPT1.无监督pre-training2. 有监督fine-tuning二、GPT-2三、GPT-31.GPT简单来说,GPT的底层架构是transformer,是由pre-training和fine-tuning两部分构成的。1.无监督pre-trainingtransformer里有encoder层和decoder层,而GPT里主要用的是decoder层,不过做了一点改变,就是去掉了中间的Encoder-Decoder Attention层(因为没有enc原创 2020-10-12 23:31:58 · 1332 阅读 · 0 评论 -
TF-IDF、余弦相似性---找出相似文章
余弦相似性句子A:我喜欢看电视,不喜欢看电影。句子B:我不喜欢看电视,也不喜欢看电影。请问计算上面两句话的相似程度?基本思路是:如果这两句话的用词越相似,它们的内容就应该越相似。因此,可以从词频入手,计算它们的相似程度。第一步,分词。句子A:我/喜欢/看/电视,不/喜欢/看/电影。句子B:我/不/喜欢/看/电视,也/不/喜欢/看/电影。第二步,列出所有的词。我,喜欢,看,电视,电影,不,也。第三步,计算词频。句子A:我 1,喜欢 2,看 2,电视 1,电影 1,不 1,也 0。句子B转载 2020-06-11 23:36:34 · 460 阅读 · 0 评论 -
自动提取关键词---TF-IDF原理
TF-IDF原理写在前面:假如有一篇很长的文章,要用计算机提取它的关键词(Automatic Keyphrase extraction),完全不加以人工干预,怎样才能正确做到?有一个非常简单的算法,TF-IDF就可以很快速的解决这个问题。一、例子讲解假定现在有一篇长文《中国的蜜蜂养殖》,需要用计算机提取它的关键词。一个容易想到的思路,就是找到出现次数最多的词。如果某个词很重要,它应该在这篇文章中多次出现。于是,我们进行"词频"(Term Frequency,缩写为TF)统计。结果你肯定猜到了,转载 2020-06-11 22:46:31 · 660 阅读 · 2 评论