NLP实战笔记-1

1. 赛题解析

实践任务 本任务分为两个子任务：

1. 从论文标题、摘要作者等信息，判断该论文是否属于医学领域的文献。
2. 从论文标题、摘要作者等信息，提取出该论文关键词。

第一个任务看作是一个文本二分类任务。机器需要根据对论文摘要等信息的理解，将论文划分为医学领域的文献和非医学领域的文献两个类别之一。第二个任务看作是一个文本关键词识别任务。机器需要从给定的论文中识别和提取出与论文内容相关的关键词。

数据集解析 训练集与测试集数据为CSV格式文件，各字段分别是标题、作者和摘要。Keywords为任务2的标签，label为任务1的标签。训练集和测试集都可以通过pandas读取。

2.实践思路&baseline

任务一：文本分类任务

思路一：TF-IDF/BOW，可以使用scikit-learn库的TfidfVectorizer或CountVectorizer来实现特征提取。

思路二：BERT预训练模型

任务二：关键词提取

可以采用以下方法：

• 词频统计：统计标题和摘要中的词频，选择出现频率较高的词语作为关键词。同时设置停用词去掉价值不大、有负作用的词语。

• 词性过滤：根据文本的词性信息，筛选出名词、动词、形容词等词性的词语作为关键词。

• TF-IDF算法：计算词语在文本中的词频和逆文档频率，选择TF-IDF值较高的词语作为关键词。

没有在标题和摘要中出现的关键词：这类关键词可能在文本的正文部分出现，但并没有在标题和摘要中提及。要提取这些关键词，可以考虑以下方法：

• 文本聚类：将文本划分为不同的主题或类别，提取每个主题下的关键词。

• 上下文分析：通过分析关键词周围的上下文信息，判断其重要性和相关性。

• 基于机器学习/深度学习的方法：使用监督学习或无监督学习的方法训练模型，从文本中提取出未出现在标题和摘要中的关键词。