NLP自然语言处理-机器学习和自然语言处理介绍-新词发现和TF-IDF
1. 新词发现
(1)为什么要做新词发现
① 如果没有词表,那我们如何发现词;
② 随着数据量的增加,旧的词表会逐步满足不了后续的需求;
③ 补充词表有助于下游任务的实现。
④ 词相当于一种固定搭配,词的内部是稳固的,也叫内部凝固度
;而词的外部是不稳定的,称为左右熵
。
例如下图:河北这个词是稳固的,但是后边跟的就不是固定的了。
(2)何为重要词
① 当我们对文章进行分词处理后,需要利用词对文档进行理解,那么我们需要的就是文档中的重要词;如下:
② 假如一个词在某类文本(假设为A类)中出现次数很多,而在其他类别文本(非A类ÿ
NLP自然语言处理-机器学习和自然语言处理介绍(三)
于 2022-07-25 16:45:27 首次发布
本文介绍了自然语言处理中的新词发现和TF-IDF概念。TF-IDF是一种衡量词重要性的方法,常用于搜索引擎、文本摘要和相似度计算。TF-IDF优势在于可解释性和计算速度,但受分词效果影响,且缺乏语义和语序信息,不适合复杂任务。
摘要由CSDN通过智能技术生成