CDOJ 1092 韩爷的梦 (字符串Double Hash)

Repost From : http://www.cnblogs.com/jiu0821/p/4554352.html

思路：这道题目难点在于时间与内存限制很苛刻，一般的方法不能奏效，这里只能采用hash。即把每个字符串hash为一个数字，对数字进行比对，题目就ac了。还有个问题就是，hash函数的选取。我第一次选的hash函数就产生了冲突，这个可以多次选择进行测试，也可以直接采用更复杂的hash函数。我偷懒了下，选的是前者的方法，第二发就ac了。

这里说下关于hash的知识：

求一个字符串的hash值：
• 现在我们希望找到一个hash函数，使得每一个字符串都能够映射到一个整数上
• 比如hash[i]=(hash[i-1]*p+idx(s[i]))%mod
• 字符串：abc，bbc，aba，aadaabac
• 字符串下标从0开始
• 先把a映射为1，b映射为2，c->3，d->4,即idx(a)=1, idx(b)=2, idx(c)=3,idx(d)=4；
•好！开始对字符串进行hash

假设我们取p=13 ，mod=101

先把abc映射为一个整数

hash[0]=1，表示 a 映射为1

hash[1]=(hash[0]*p+idx(b))%mod=15，表示 ab 映射为 15

hash[2]=(hash[1]*p+idx(c))%mod=97

这样，我们就把 abc 映射为 97 这个数字了。
•用同样的方法，我们可以把bbc，aba，aadaabac都映射到一个整数
•用同样的hash函数，得到如下结果
• abc -> 97
• bbc -> 64
• aba -> 95
• aadaabac -> 35
•那么，我们发现，这是一个字符串到整数的映射
•这样子，我们就可以记录下每个字符串对应的整数，当下一次出现了一个已经出现的字符串时，查询整数是否出现过，就可以知道 字符串是否重复出现。
•现在要判断两个字符串是否一致，怎么办呢？直接用它们的hash值判断即可，若hash值一致，则认为字符串一致；若hash值不一致，则认为是不同的字符串。
•我们要判断两个字符串是否一致，没有那么麻烦，直接先判断长度是否一致，然后再判断每个对应的字符是否一致即可。
•但，如果要判断多个字符串里有多少个不同的字符串，怎么办呢？
•两两字符串都进行比较？时间复杂度太高
•把每个字符串hash成一个整数，然后把所有整数进行一个去重操作，即可知道答案了。
当遇到冲突时，我们可以想办法调整p和mod，使得冲突概率减小之又小。我们一般认为p和mod一般取素数，p取一个较大的素数即可（6位到8位），mod取一个大素数，比如1e9+7，或者1e9+9。

如何求一个子串的hash值？
•在之前，我们求出了hash[i]，表示第i个前缀的hash值。现在怎么求出每个子串的

hash值呢？
•我们看下hash的公式：
• hash[i]=(hash[i-1]*p+idx(s[i]))%mod
•这表示第 i 个前缀的hash值，是一个hash的前缀和。
•hash[i]=(hash[i-1]*p+idx(s[i]))%p;
•那么，我要求S[l…r]这个子串的hash值
• hash[l..r]=(hash[r]-hash[l-1]*(p^(r-1+1)))%mod（假设字符串下标从1开始）
•但注意下取模时候的问题！
•hash[l..r]=(hash[r]-hash[l-1]*(p^(r-1+1)))%mod
• hash[l..r]是不是可能有负数？
•怎么办呢？当得到的hash[l..r]<0的时候，hash[l..r]+=mod，就好啦。
•这样就可以保证每个子串的hash值在[0, mod-1]的范围内，准确地用hash值来处理字符串

常用的几个字符串hash法
•1. unsigned long long hash[N];
hash[i]=hash[i-1]*p（自动取模）
解释：

unsigned long long hash[N];

定义一个unsigned long long类型的变量，它的范围是在[0, 2^64) 内，这就相当于，当数超不过2^64-1后，它会溢出！这就相当于一个数模2^64的过程。

那么hash函数可以理解为：

   hash[i]=(hash[i-1]*p)%(2^64)

P取一个大素数，一般习惯取1e9+7或1e9+9

安全指数：三星（所以并不是很安全）

•2. hash[i]=(hash[i-1]*p+idx(s[i]))%mod
解释：

这个之前已经提到过了。

hash[i]=(hash[i-1]*p+idx(s[i]))%mod
p取一个6到8位的素数，mod取一个大素数，一般取1e9+7或1e9+9
安全指数：四星 （还可以）

•3. 双hash

 hash1[i]=(hash1[i-1]*p+idx(s[i]))%mod1

 hash2[i]=(hash2[i-1]*p+idx(s[i]))%mod2

 pair<hash1,hash2>表示一个字符串！

解释：
double hash
即取两个mod值，mod1和mod2

hash1[i]=(hash1[i-1]*p+idx(s[i]))%mod1

hash2[i]=(hash2[i-1]*p+idx(s[i]))%mod2

mod1一般取1e9+7，mod2一般取1e9+9为什么这么取？

1000000007和1000000009是一对孪生素数，取它们，冲突的概率极低！
安全指数：五星！（非常稳！）

小结：
•可以这么说，hash某种程度上就是乱搞，把hash函数弄的越没有规律越好，使得冲突的概率小到 大部分数据都卡不掉。
•如果你开心，你想triple hash，ultra hash，rampage hash… 都没有问题！

但请注意，hash的维度越高，耗时越高，耗内存越大！一般情况下，single hash可以被hack掉，但double hash极难被hack掉， 用double hash足以解决问题.

---

#include <iostream>
#include <cstdio>
#include <cstring>
#include <algorithm>
#include <cmath>
using namespace std;

const int N = 20000 + 10;
char s[110];

void hashinit(int &x1,int &x2)
{
   x1 = 0x7FED7FED , x2 = 1;
   int p1 = 1526597;
   int p2 = 89834777;
   int mod1 = 1e9 + 7;
   int mod2 = 1e9 + 9;
   for(int i=0;i<100;i++)
   {
       int val = s[i];
       x1 = (x1*p1 + val) % mod1;
       x2 = (x2*p2 + val) % mod2;
   }
   return;
}

int main()
{
    int hash1[N];
    int hash2[N];
    int size  = 0;
    for(int i=1;i<=20000;i++)
    {
         scanf(" %s",s);
         int q1, q2;
         hashinit(q1,q2);
         hash1[size] = q1;
         hash2[size++] = q2;
    }
    sort(hash1,hash1+size);
    sort(hash2,hash2+size);
    int c1 = unique(hash1,hash1+size) - hash1;
    int c2 = unique(hash2,hash2+size) - hash2;
    printf("%d\n",min(c1,c2));
    return 0;
}