概念:
摘要: 全面准确地反映某一文献中心内容的简单连贯的短文。
自动摘要: 利用计算机自动地从原始文件中提取摘要。
算法原理: 余弦相似定理
算法步骤:
- 获取需要摘要的文章
- 对该文章进行词频统计
- 对该文章进行分句,一般采用“,"、"."、?"进行分句。
- 计算分句与文章之间的余弦相似度。
- 取相似度最高的分句,作为文章的摘要。
下面是具体代码实现:
首先导入包:
#导入需要的包
import re
import os
import jieba
import codecs
import numpy
import pandas
import os.path
from sklearn.metrics import pairwise_distances
from sklearn.feature_extraction.text import CountVectorizer
然后和之前操作一样,构建语料库:
#构建语料库
#读取文件
filePaths = [];
fileContents = [];
for root, dirs, files in os.walk(