python nlp文本摘要_如何自动生成文本摘要

今天学习的是自动生成文本摘要。

当我们的身边的信息越来越多，数据越来越多，链接越来越多的时候，用一句简单的话就能把最重要的信息给表达出来，变得越来越重要。

有了这个技能，我们就可以让机器为我们提取一篇文章的重要信息，以后甚至是一本书的重要信息。

这个技术最早是在气象领域应用起来的，就是用一个固定的格式把预测出来的数据套入进去，后来在金融领域，医疗领域也得到广泛的应用，这样的工具可以很好的帮助从业人员节省一部分时间。

过去的方法是提取一个子集，而我们的大脑在对一篇文章进行总结的时候，利用的是抽象性思维，现在我们就可以用深度学习来模拟这个过程。

pickle, 可以将python的对象转化成character stream，我们可以很轻松的重建这个对象:

import cPickle as pickle

FN0 = 'tokens' # this is the name of the data file which I assume you already have

with open('data/%s.pkl'%FN0, 'rb') as fp:

heads, desc, keywords = pickle.load(fp) # keywords are not used in this project

返回的heads就是标题，desc就是相应的文章。

接着我们需要把整个文章变成一个一个的单词，并且一个词一个词的生成总结。

from collections import Counter

from