自然语言处理
石头ape
变优秀
展开
-
TFIDF与TextRank
TF-IDF是信息检索领域中对搜索词重要性的度量,衡量一个关键词w对于查询所提供的信息。TF词频:表示关键词w在文档Di中出现的频率;Di为第i个文档中所有词的总数IDF逆文档频率:表示词的普遍程度;一个词越普遍,其IDF值越低;所有文档总数N,I表示关键词w是否出现在Di文档,I=0/1是指示函数TF-IDF=TF*IDF总结:当一个词在文档中出现的频率越高且普遍度低时,其tf-idf值越高;兼顾了词频与新鲜度,可以过滤掉一些常见的词,保留能反映特征的重要词TextRank原创 2022-02-10 22:36:19 · 1082 阅读 · 0 评论 -
自然语言处理预训练模型综述
预训练模型是为了解决深度神经学习中大规模参数学习问题,其核心思想是在大数据上对深层次神经网络进行预训练得到模型参数,然后将这些训练好的模型运用到具体的下游任务中。在现代自然语言处理任务中,用大规模语料库进行无监督训练得到的词的分布式表示被广泛使用,其中Word2Vec实现了在低维条件下用稠密向量对词进行表示,但是这种方式只能提取浅层文本表征,忽略了上下文,无法在不同语境下对词的句法和语义进行有效表示;ELMo采用双向长短期记忆网络对语言模型实现了基于上下文的词嵌入表示;直到Google在Transfor原创 2022-01-14 18:18:49 · 731 阅读 · 0 评论