python数据挖掘实战笔记——文本挖掘（10）：自动摘要

概念：

摘要： 全面准确地反映某一文献中心内容的简单连贯的短文。
自动摘要： 利用计算机自动地从原始文件中提取摘要。

算法原理： 余弦相似定理

算法步骤：

• 获取需要摘要的文章
• 对该文章进行词频统计
• 对该文章进行分句，一般采用“,"、"."、?"进行分句。
• 计算分句与文章之间的余弦相似度。
• 取相似度最高的分句，作为文章的摘要。

下面是具体代码实现：
首先导入包：

#导入需要的包
import re
import os
import jieba
import codecs
import numpy
import pandas
import os.path
from sklearn.metrics import pairwise_distances
from sklearn.feature_extraction.text import CountVectorizer

然后和之前操作一样，构建语料库：

#构建语料库
#读取文件
filePaths = [];
fileContents = [];
for root, dirs, files in os.walk(