python数据记录_用python实现数据库记录的Levenshtein

我对您问题的理解是，您确实需要识别非常相似的记录，这些记录可能会重复。

我会在数据库中解决这个问题。不需要编程。如果您的数据库中没有Levenshtein函数，您可能需要创建一个用户定义的函数。在

以下是MySQL的示例：CREATE FUNCTION `levenshtein`(s1 VARCHAR(255), s2 VARCHAR(255)) RETURNS int(11) DETERMINISTIC

BEGIN

DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;

DECLARE s1_char CHAR; DECLARE cv0, cv1 VARBINARY(256);

SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;

IF s1 = s2 THEN

RETURN 0;

ELSEIF s1_len = 0 THEN

RETURN s2_len;

ELSEIF s2_len = 0 THEN

RETURN s1_len;

ELSE

WHILE j <= s2_len DO

SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;

END WHILE;

WHILE i <= s1_len DO

SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;

WHILE j <= s2_len DO

SET c = c + 1;

IF s1_char = SUBSTRING(s2, j, 1) THEN

SET cost = 0;

ELSE

SET cost = 1;

END IF;

SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;

IF c > c_temp THEN

SET c = c_temp;

END IF;

SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;

IF c > c_temp THEN

SET c = c_temp;

END IF;

SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;

END WHILE;

SET cv1 = cv0, i = i + 1;

END WHILE;

END IF;

RETURN c;

END

然后你需要把你所有的记录相互比较。这需要一个self-full-join，这当然有点重。如果太重，则需要使用Python方法，这样可以避免重复(比较同一记录的不同时间)。在

这就是我要做的。请注意，为了便于识别，我宁愿使用ID：

^{pr2}$

将返回Levenshtein值的列表，这些值从最佳匹配到最差(组合列)。该条件避免记录与其自身进行比较。在