python实现最大公共子序列算法

研究目的

最近在做日志文本挖掘，我们要实现的功能之一是对日志事件进行聚类，聚类的方法是每两条日志之间，寻找他们的最大公共子短语（专业术语叫做最大公共子序列）。当公共子序列的长度超过一定时，我们认为这两条日志是相同事件的可能性比较大。所以本文是想实现寻找两条日志文本之间的最大公共子短语算法。

算法设计

最长公共子序列（LCS）是一个十分实用的问题，它可以描述两段文字之间的“相似度”，即它们的雷同程度，从而能够用来辨别抄袭。对一段文字进行修改之后，计算改动前后文字的最长公共子序列，将除此子序列外的部分提取出来，这种方法判断修改的部分，往往十分准确。
解法就是用动态回归的思想，一个矩阵记录两个字符串中匹配情况，若是匹配则为左上方的值加1，否则为左方和上方的最大值。一个矩阵记录转移方向，然后根据转移方向，回溯找到最长子序列。

代码实现

# -*- coding: UTF-8 -*-
import numpy as np
import sys
sys.setrecursionlimit(10000) #例如这里设置为一万


de