5个简单的步骤使用Pytorch进行文本摘要总结

介绍

文本摘要是自然语言处理(NLP)的一项任务，其目的是生成源文本的简明摘要。不像摘录摘要，摘要不仅仅简单地从源文本复制重要的短语，还要提出新的相关短语，这可以被视为释义。摘要在不同的领域产生了大量的应用，从书籍和文献，科学和研发，金融研究和法律文件分析。

到目前为止，对抽象摘要最有效的方法是在摘要数据集上使用经过微调的transformer模型。在本文中，我们将演示如何在几个简单步骤中使用功能强大的模型轻松地总结文本。我们将要使用的模型已经经过了预先训练，所以不需要额外的训练:)

让我们开始吧!

步骤1:安装Transformers库

我们要用的库是Huggingface实现的Transformers 。如果你不熟悉Transformers ，你可以继续阅读我之前的文章。

要安装变压器，您可以简单地运行:

 pip install transformers

注意需要事先安装Pytorch。如果您还没有安装Pytorch，请访问Pytorch官方网站并按照说明安装它。

步骤2:导入库

成功安装transformer之后，现在可以开始将其导入到Python脚本中。我们也可以导入os来设置GPU在下一步使用的环境变量。注意，这是完全可选的，但如果您有多个gpu(如果您使用的是jupiter笔记本)，这是防止错误的使用其他gpu的一个好做法。