【论文泛读167】使用 BERT 语言模型的大规模新闻分类：Spark NLP 方法

最新推荐文章于 2024-08-05 18:33:02 发布

及时行樂_

最新推荐文章于 2024-08-05 18:33:02 发布

阅读量646

点赞数 1

分类专栏：论文 # Bert # NLP_paper 文章标签： bert spark nlp paper

本文链接：https://blog.csdn.net/qq_41485273/article/details/118860352

版权

该研究对比了使用BERT语言模型在Spark NLP框架下进行大规模新闻分类的效果。实验显示，虽然不使用Spark NLP的BERT模型在准确率上表现更好，但训练时间更长。而Spark NLP的BERT模型虽然准确率略有下降，但训练时间显著减少，适合处理大数据任务。未来的研究将进一步优化模型和预处理技术。

摘要由CSDN通过智能技术生成

贴一下汇总贴：论文阅读记录

论文链接：《Large-Scale News Classification using BERT Language Model: Spark NLP Approach》

一、摘要

基于 NLP 的大数据分析的兴起增加了大规模文本处理的计算负担。NLP 面临的问题是非常高维的文本，因此需要很高的计算资源。MapReduce 允许大型计算的并行化，并可以提高文本处理的效率。本研究旨在基于深度学习方法研究大数据处理对 NLP 任务的影响。我们通过微调 BERT 使用的预训练模型对大量新闻主题文本进行分类。本研究使用了五个具有不同数量参数的预训练模型。为了衡量这种方法的效率，我们将 BERT 的性能与 Spark NLP 的管道进行了比较。结果表明，与使用 Spark NLP 的 BERT 相比，不使用 Spark NLP 的 BERT 具有更高的准确率。使用 BERT 的所有模型的准确率平均值和训练时间为 0.9187 和 35 分钟，而使用 Spark NLP 管道的 BERT 为 0.8444 和 9 分钟。更大的模型会占用更多的计算资源，并且需要更长的时间来完成任务。然而，与没有 Spark NLP 的 BERT 相比，使用 Spark NLP 的 BERT 的准确率仅平均下降了 5.7%，而训练时间则显着减少了 62.9%。