使用JIEBA和Snownlp工具包解决文本摘要问题

1.摘要的提取方法

    文本摘要是一种从一个或多个信息源中抽取关键信息的方法，它帮助用户节省了大量时间，用户可以从摘要获取到文本的所有关键信息点而无需阅读整个文档。文本摘要按照输入类型可分为单文档摘要和多文档摘要。单文档摘要方法是指针对单个文档，对其内容进行抽取总结生成摘要；多文档摘要方法是指从包含多份文档的文档集合中生成一份能够概括这些文档中心内容的摘要。

基于图排序的文本摘要生成的主要方法是通过把文章分成若干个段落或句子的集合，每个集合对应一个图的顶点，集合之间的关系对应边，最后通过图排序的算法。其中Text rank排序算法以其简洁、高效的特点被工业界广泛运用。大体思想就是先去除文章中的一些停用词，之后对句子的相似度进行度量，计算每一句相对另一句的相似度得分，迭代传播，直到误差小于0.0001，再对上述方法得到的关键语句进行排序，即可获得摘要。其基本思想来源于谷歌的 PageRank算法, 通过把文本分割成若干组成单元(单词、句子)并建立图模型, 利用投票机制对文本中的重要成分进行排序, 仅利用单篇文档本身的信息即可实现关键词提取、文摘。

优点在于：它具有简单、语言弱相关及同时适合单文本和多文本等众多优点，无需手动标注数据集，相比有监督或半监督的深度学习的文本摘要方法，节省了一定的时间和人力。缺点是：由于无监督学习方法还没有充分挖掘和利用数据之间的关系，所以虽然文本摘要的效果和质量有所提升，但是对数据利用不够充分，存在局限性，之后的基于有监督、半监督学习的文本摘要方法对数据进行了合理利用，相比无监督方法有显著的性能提升。

 TF-IDF是一种统计方法，用以评估字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

词频(Term Frequency)表示单词在该文章中出