Larbin:hashDup

hashDup:
   功能:对于内容判重。hashTable是对URL判重。即文件内容相同的同一html,并不爬取两次,即便他们的url不同。
   实现:
       hashDup  :构造函数,建立hash表;包括建立空表和导入已建立的表。
       ~hashDup : 析构函数,删除表。
       testSet  : 测试某个文件是否已经在hashTable中。
                  输入是文件名,从第一个字符到最后一个字符进行扫描,将字母转换为hash码。比较并添加hash码。如果已经则返回false,否则返回true。
       save     :将hash表保存在文件中

   区别:在实现细节上,hashTable使用的是31这个常见数字,而hashDup使用的是23。
   

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值