【主题建模】基于 LDA 和 BERTopic 的 COVID-19 论文内容分析

基于 LDA 和 BERTopic 的 COVID-19 论文内容分析

关于 COVID-19 的研究不胜枚举，截至 2022 年初，已发表了超过 $800000$ 篇与 COVID-19 相关的论文。对这些论文进行梳理是一项非常具有挑战性的任务，但这可以帮助我们确定哪些领域可以更多的从研究或研究基金中受益。在本文中，我将评估这些 COVID-19 研究论文的主题，尝试揭示这些统计数据和趋势。

数据集来自 The COVID-19 Open Research Dataset (CORD-19)，该数据集包含了与冠状病毒研究或 COVID-19 大流行相关的学术论文语料库。 CORD-19 数据集旨在支持文本挖掘和 NLP 研究，并为评估 COVID-19 大流行的主题提供良好开端。

尽管获取 CORD-19 数据相对不难，但因数据质量问题仍要进行数据清洗，具体的数据清洗过程细节不在本文讨论范围内。我仅保留 2020 年初 COVID-1