python生成相似句子_python-确定两个句子相似程度的算法

我的一个朋友有个主意,就是制作一个可以逐个显示单词的速读程序(很像当前现有的速读程序).但是,该程序会过滤掉并非完全必要的单词(如果您想略读).

我已经开始实现此程序,但是我不确定应该使用什么算法来消除“无关紧要”的单词.

我的想法是解析句子(我目前正在使用Stanford Parser),并根据单词对句子含义的重要性对每个单词分配权重,然后开始删除权重最低的单词.我将继续执行此操作,检查原始树和新树的“差异”.我将继续删除权重最低的单词,直到两棵树变得太不同为止(我将通过每个用户都要经历一次的“校准”过程来确定一些常数).最后,我将遍历简短句子中的每个单词,并尝试用该单词的更简单或更短的同义词替换它(再次尝试保持价值).

同样,对于非常常见的词(例如“ the”,“ a”和“ of”)也会有特殊情况.

例如：

“比利对简说：’你想出去吗？’”

会成为：

“比利告诉简,想出去吗？”

这基本上保留了句子的所有含义,但大大缩短了句子的含义.

这对于算法是个好主意吗？如果是,那么我将如何分配权重,应该使用哪种树比较算法,并在合适的位置插入完成的同义词(即应该在删除任何单词之前完成) ？