NLP自然语言处理-机器学习和自然语言处理介绍-新词发现和TF-IDF
1. 新词发现
（1）为什么要做新词发现
① 如果没有词表，那我们如何发现词；
② 随着数据量的增加，旧的词表会逐步满足不了后续的需求；
③ 补充词表有助于下游任务的实现。
④ 词相当于一种固定搭配，词的内部是稳固的，也叫内部凝固度
；而词的外部是不稳定的，称为左右熵
。
例如下图：河北这个词是稳固的，但是后边跟的就不是固定的了。
（2）何为重要词
① 当我们对文章进行分词处理后，需要利用词对文档进行理解，那么我们需要的就是文档中的重要词；如下：
② 假如一个词在某类文本（假设为A类）中出现次数很多，而在其他类别文本（非A类ÿ
本文介绍了自然语言处理中的新词发现和TF-IDF概念。TF-IDF是一种衡量词重要性的方法，常用于搜索引擎、文本摘要和相似度计算。TF-IDF优势在于可解释性和计算速度，但受分词效果影响，且缺乏语义和语序信息，不适合复杂任务。
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
