python搜索引擎的设计与实现_Python搜索引擎实现原理和方法

如何在庞大的数据中高效的检索自己需要的东西？本篇内容介绍了Python做出一个大数据搜索引擎的原理和方法，以及中间进行数据分析的原理也给大家做了详细介绍。

布隆过滤器 (Bloom Filter)

第一步我们先要实现一个布隆过滤器。

布隆过滤器是大数据领域的一个常见算法，它的目的是过滤掉那些不是目标的元素。也就是说如果一个要搜索的词并不存在与我的数据中，那么它可以以很快的速度返回目标不存在。

让我们看看以下布隆过滤器的代码：

class Bloomfilter(object):

"""

A Bloom filter is a probabilistic data-structure that trades space for accuracy

when determining if a value is in a set. It can tell you if a value was possibly

added, or if it was definitely not added, but it can't tell you for certain that

it was added.

"""

def __init__(self, size):

"""Setup the BF with the appropriate size"""

self.values = [False] * size

self.size = size

def hash_value(self, value):

"""Hash the value provided and scale it to fit the BF