关键词提取

1.TF-IDF（有监督）

认为文本中频率是关键词的主要特征。TF（词频）指的是一个词语在句子中出现的频率，表示了该词语在文本中的重要程度。

首先我们需要进行分词

IDF（逆文档频率）衡量了一个词语在整个文档集合中的普遍重要性。常见的计算方法是通过文档集合中包含该词语的文档数量与文档集合总文档数的比值取对数的倒数。

TF-IDF将TF和IDF相乘，得到一个词语在文本中的重要性得分。重要性得分高的词语在文本中更具代表性，往往与文本的主题相关性较高。

优势：

高频词过滤：通过逆文档频率的计算，TF-IDF可以过滤掉在整个文档集合中过于常见的词语，如停用词，从而提取出更加重要和有意义的词语。

缺点：

无法处理词语顺序信息和语义相关性等。

2.keybert（无监督）

中心思想：选出句子中bert嵌入与句子嵌入的余弦相似度最高的词汇作为关键词。

如果直接拿预训练好的bert模型来进行微调可能会存在的问题：

1.直接对句子进行句嵌入，再与词嵌入进行比较，如果关键词是一个低频次，那么两者的分布存在差异（bert的高频词与低频次分布不同），需要进行白化处理，转换为同一标准正交基。（同事直接拿bert嵌入做keybert效果确实不好）

2.下游任务存疑，如果是命名实体识别，不存在几千个label的情况，label数量过多会导致学习难度太大。难以定义label具体是什么。难以定义label具体是什么。

实验思路：

1.预训练一个bert，在日语相关的bert的基础上使用自己的语料进行预训练。

算法细节：

1.取消下一句预测的损失，没有必要,因为我们每个句子都是独立的。

2.每个句子用CLS开头，tid全部为0。