第一题、5亿个不重复的商品的ID(每一个商品的ID是64位),现在有一个存放了10亿个商品ID(商品的ID会有重复)的日志文件,请设计一种方法找出5亿个商品中没有出现在日志文件中的商品。假设所能使用的内存为2G。
2G的文件只能存放2.5亿的商品ID,因为5亿商品大小为5*10^8*8B=4G。可以考虑将5亿商品ID哈希到四个文件中A[4]。然后将10亿个商品哈希到另外四个文件中B[4]。每次读入一个A文件读入一个B文件,将B文件哈希到A文件中,A文件中的值为0的键值就是没有被日志文件包含的。但是日志文件分成四个之后,每一个的大小事2G无法一次性的读入,可以一次读一半或者分成8个文件。以上为博主的思路,欢迎各位指正。
第二题、有一个词组的列表,list<string> wordlist={"a boy","hello word ","small cat",.......};有一个字符串string stringlist={“ a boy can catch small cats”}.
要求找出出现在stringlist中的wordlist的词组。比如a boy就出现了,但是small cat没出现。只要有一个出现了就返回true,否则返回false
bool Find(list<string>wordlist,string stringlist)
{
int length=wordlist.length();
int i;
for(i=0;i<length;i++)
{
if(stringlist.find(wordlist[i])!=stringlist.end()&&*(stringlist.find(wordlist[i])++)==' ')
{
return true;
}
}
return false;
}
第二问:如果wordlist中词组列表比较长,即个数比较多,而stringlist中字符串比较短如何优化该算法,使时间复杂度降低。并分析时间复杂度
将wordlist中的词组建立字典树,字典树中每一个分支代表一个词组。读入stringlist中的第一个单词,如果匹配则读入下一个,知道与字典树中的某一个分支完全匹配则返回true,否则读入第二个单词继续匹配,重复上述步骤知道返回true或者读完之后无匹配项返回false。时间复杂度是log26(num).其中num是wordlist中字符数总和。
以上仅代表博主个人思路,欢迎指正。