MMR自动摘要 python实现

推荐阅读：http://www.iis.sinica.edu.tw/papers/hsu/17741-F.pdf

http://www.ixueshu.com/document/c755e09b235a14d1318947a18e7f9386.html

MMR的全称为Maximal Marginal Relevance ，中文名字为最大边界相关法或者最大边缘相关。

在MMR的公式是这样的，截图来自http://www.cnblogs.com/little-horse/p/7191287.html

由于我们算的是自动摘要，所以主要看下面的公式。

左边的score计算的是句子的重要性分值，右边的计算的是句子与所有已经被选择成为摘要的句子之间的相似度最大值，注意这里的是负号，说明成为摘要的句子间的相似度越小越好。此处体现了MMR的算法原理，即均衡考虑了文章摘要的重要性和多样性。这种摘要提取方式与textrank不同，textrank只取全文的重要句子进行排序形成摘要，忽略了其多样性。

对于一篇文档，计算当前句子Q在全文中的相似度，MMR认为，对于相似度全文排名越高的表示为重要性越高。这里的相似度一般为余弦相似度，原来的论文就是cos。推荐介绍的两篇论文都有写到一些计算相似度的算法，可以研究研究。

代码来自：https://github.com/fajri91/Text-Summarization-MMR/blob/master/mmr.py 改写成中文摘要：

# -*- coding: utf-8 -*-
"""
Created on Thu Sep  7 17:10:57 2017

@author: Mee
"""

import os
import re
import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import operator

f=open(r'C:\Users\user\Documents\Python Scripts/stopword.dic')#停止词  
stopwords = f.readlines()  
stopwords=[i.replace("\n","") for i in stopwords]  	

def cleanData(name):
    setlast = jieba.cut(name, cut_all=False)
    seg_list = [i.lower() for i in setlast if i not in stopwords]
    return " ".join(seg_list)

def calculateSimilarity(sentence, doc):#根据句子和句子，句子和文档的余弦相似度 
	if doc == []:
		return 0
	vocab = {}
	for word in sentence.split():
		vocab[word] = 0#生成所在句子的单词字典，值为0
	
	docI