今天继续看Python源代码中的PyStringObject结构,发现了它的一个子字符串的查找算法很有趣,研究了一把,这个算法在这里叫做fastsearch。真的不错,它在进行字符跳的时候,是m长度的跳,而不是一个个的跳。其实,算法还是很简单的,仔细分析一下就可以得出了。在分析算法的同时,我发现这个算法一点小小的瑕疵,现在叙述如下:
#define
FAST_COUNT 0
#define
FAST_SEARCH 1
Py_LOCAL_INLINE(
Py_ssize_t)
fastsearch(
const STRINGLIB_CHAR* s, Py_ssize_t n,
const STRINGLIB_CHAR* p, Py_ssize_t m,
int mode)
{
long mask;
Py_ssize_t skip, count = 0;
Py_ssize_t i, j, mlast, w;
w = n - m;
if (w < 0)
return -1;
/* look for special cases */
if (m <= 1) {
if (m <= 0)
return -1;
/* use special case for 1-character strings */
if (mode == FAST_COUNT) {
for (i = 0; i < n; i++)
if (s[i] == p[0])
count++;
return count;
} else {
for (i = 0; i < n; i++)
if (s[i] == p[0])
return i;
}
return -1;
}
mlast = m - 1;
/* create compressed boyer-moore delta 1 table */
//skip = mlast - 1; //???
skip = mlast; //Modified by deng_zf
/* process pattern[:-1] */
for (mask = i = 0; i < mlast; i++) {
mask |= (1 << (p[i] & 0x1F));
if (p[i] == p[mlast])
skip = mlast - i - 1;
}
/* process pattern[-1] outside the loop */
mask |= (1 << (p[mlast] & 0x1F));
for (i = 0; i <= w; i++) {
/* note: using mlast in the skip path slows things down on x86 */
if (s[i+m-1] == p[m-1]) {
/* candidate match */
for (j = 0; j < mlast; j++)
if (s[i+j] != p[j])
break;
if (j == mlast) {
/* got a match! */
if (mode != FAST_COUNT)
return i;
count++;
i = i + mlast;
continue;
}
/* miss: check if next character is part of pattern */
if (!(mask & (1 << (s[i+m] & 0x1F))))
i = i + m;
else
i = i + skip;
} else {
/* skip: check if next character is part of pattern */
if (!(mask & (1 << (s[i+m] & 0x1F))))
i = i + m;
}
}
if (mode != FAST_COUNT)
return -1;
return count;
}
|
有问题的和我修改后的语句我使用红色表示。我的解释如下:
假设:
原字符串为s,长度为n,例如s = “abdefg”,n = 6
子字符串为p,长度为m,例如p = “bcd”, m = 3
通过计算可知:
mlast = m – 1 = 2
skip = mlast – 1 = 1
好,现在让程序运行。程序在进入
for (
i = 0; i <= w; i++){}这个循环的第一遍中,会运行到后面的语句
i = i + skip。此时的i = 0, skip = 1,所以运行完成这条语句之后,i的值变成了1。然后,程序进入第二次循环,这时通过i++,i的值变成了2。也就是取字符串s中的子字符串“def”与
p进行比较,这显然是不成立的,这次比较必定要浪费的。
为什么呢?
因为
s中的第二个字符’d’在第一次比较中做为最后一个字符进行比较的,它和
p中的最后一个字符相同。而因为p的最后一个字符与前面的所有字符不同,所以在进行第二次比较中做为首字符的’d’肯定也不会和
p中的第一个字符相同的,所以这次比较肯定要失败的。
造成这种情况就是因为
skip在进行初始化的时候有问题,应该是skip = mlast,而不是skip = mlast – 1。