强！一位程序员大佬用Python做了一个大数据搜索引擎，真牛皮！_csdn python search engine 搜索引擎

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

        last = idx

# The last character may not be a break so always capture
# the last segment (which may end up being "", but yolo)    
segment = s[last+1:]
results.add(segment)

return results

主要分割


主要分割使用空格来分词，实际的分词逻辑中，还会有其它的分隔符。例如Splunk的缺省分割符包括以下这些，用户也可以定义自己的分割符。


] < > ( ) { } | ! ; , ' " \* \n \r \s \t & ? + %21 %26 %2526 %3B %7C %20 %2B %3D -- %2520 %5D %5B %3A %0A %2C %28 %29

def minor_segments(s):
“”"
Perform minor segmenting on a string. This is like major
segmenting, except it also captures from the start of the
input to each break.
“”"
minor_breaks = ‘_.’
last = -1
results = set()

for idx, ch in enumerate(s):
    if ch in minor_breaks:
        segment = s[last+1:idx]
        results.add(segment)

        segment = s[:idx]
        results.add(segment)

        last = idx

segment = s[last+1:]
results.add(segment)
results.add(s)

return results

次要分割


次要分割和主要分割的逻辑类似，只是还会把从开始部分到当前分割的结果加入。例如“1.2.3.4”的次要分割会有1，2，3，4，1.2，1.2.3

def segments(event):
“”“Simple wrapper around major_segments / minor_segments”“”
results = set()
for major in major_segments(event):
for minor in minor_segments(major):
results.add(minor)
return results

分词的逻辑就是对文本先进行主要分割，对每一个主要分割在进行次要分割。然后把所有分出来的词返回。


我们看看这段 code是如何运行的：

for term in segments(‘src_ip = 1.2.3.4’):
print term

src
1.2
1.2.3.4
src_ip
3
1
1.2.3
ip
2

4

### 搜索


好了，有个分词和布隆过滤器这两个利器的支撑后，我们就可以来实现搜索的功能了。


上代码：

class Splunk(object):
def init(self):
self.bf = Bloomfilter(64)
self.terms = {} # Dictionary of term to set of events
self.events = []

def add_event(self, event):
    """Adds an event to this object"""

    # Generate a unique ID for the event, and save it
    event_id = len(self.events)
    self.events.append(event)

    # Add each term to the bloomfilter, and track the event by each term
    for term in segments(event):
        self.bf.add_value(term)

        if term not in self.terms:
            self.terms[term] = set()
        self.terms[term].add(event_id)

def search(self, term):
    """Search for a single term, and yield all the events that contain it"""
    
    # In Splunk this runs in O(1), and is likely to be in filesystem cache (memory)
    if not self.bf.might_contain(term):
        return

    # In Splunk this probably runs in O(log N) where N is the number of terms in the tsidx
    if term not in self.terms:
        return

    for event_id in sorted(self.terms[term]):
        yield self.events[event_id]

* Splunk代表一个拥有搜索功能的索引集合
* 每一个集合中包含一个布隆过滤器，一个倒排词表（字典），和一个存储所有事件的数组
* 当一个事件被加入到索引的时候，会做以下的逻辑
	+ 为每一个事件生成一个unqie id，这里就是序号
	+ 对事件进行分词，把每一个词加入到倒排词表，也就是每一个词对应的事件的id的映射结构，注意，一个词可能对应多个事件，所以倒排表的的值是一个Set。倒排表是绝大部分搜索引擎的核心功能。
* 当一个词被搜索的时候，会做以下的逻辑
	+ 检查布隆过滤器，如果为假，直接返回
	+ 检查词表，如果被搜索单词不在词表中，直接返回
	+ 在倒排表中找到所有对应的事件id，然后返回事件的内容


我们运行下看看把：

s = Splunk()
s.add_event(‘src_ip = 1.2.3.4’)
s.add_event(‘src_ip = 5.6.7.8’)
s.add_event(‘dst_ip = 1.2.3.4’)

for event in s.search(‘1.2.3.4’):
print event
print ‘-’
for event in s.search(‘src_ip’):
print event
print ‘-’
for event in s.search(‘ip’):
print event

src_ip = 1.2.3.4
dst_ip = 1.2.3.4

src_ip = 1.2.3.4
src_ip = 5.6.7.8

src_ip = 1.2.3.4
src_ip = 5.6.7.8
dst_ip = 1.2.3.4

是不是很赞！


### 更复杂的搜索


更进一步，在搜索过程中，我们想用And和Or来实现更复杂的搜索逻辑。


上代码：

class SplunkM(object):
def init(self):
self.bf = Bloomfilter(64)
self.terms = {} # Dictionary of term to set of events
self.events = []

def add_event(self, event):
    """Adds an event to this object"""

    # Generate a unique ID for the event, and save it
    event_id = len(self.events)
    self.events.append(event)

    # Add each term to the bloomfilter, and track the event by each term
    for term in segments(event):
        self.bf.add_value(term)
        if term not in self.terms:
            self.terms[term] = set()
        
        self.terms[term].add(event_id)

def search_all(self, terms):
    """Search for an AND of all terms"""

    # Start with the universe of all events...
    results = set(range(len(self.events)))

    for term in terms:
        # If a term isn't present at all then we can stop looking
        if not self.bf.might_contain(term):
            return
        if term not in self.terms:
            return

        # Drop events that don't match from our results
        results = results.intersection(self.terms[term])

    for event_id in sorted(results):
        yield self.events[event_id]


def search_any(self, terms):
    """Search for an OR of all terms"""
    results = set()

    for term in terms:
        # If a term isn't present, we skip it, but don't stop
        if not self.bf.might_contain(term):
            continue
        if term not in self.terms:
            continue

        # Add these events to our results
        results = results.union(self.terms[term])

    for event_id in sorted(results):
        yield self.events[event_id]

利用Python集合的intersection和union操作，可以很方便的支持And（求交集）和Or（求合集）的操作。


运行结果如下：

s = SplunkM()
s.add_event(‘src_ip = 1.2.3.4’)
s.add_event(‘src_ip = 5.6.7.8’)
s.add_event(‘dst_ip = 1.2.3.4’)

for event in s.search_all([‘src_ip’, ‘5.6’]):
print event
print ‘-’

做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。

别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。

我先来介绍一下这些东西怎么用，文末抱走。

---

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

（4）200多本电子书

这些年我也收藏了很多电子书，大概200多本，有时候带实体书不方便的话，我就会去打开电子书看看，书籍可不一定比视频教程差，尤其是权威的技术书籍。

基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。

（5）Python知识点汇总

知识点汇总有点像学习路线，但与学习路线不同的点就在于，知识点汇总更为细致，里面包含了对具体知识点的简单说明，而我们的学习路线则更为抽象和简单，只是为了方便大家只是某个领域你应该学习哪些技术栈。

（6）其他资料

还有其他的一些东西，比如说我自己出的Python入门图文类教程，没有电脑的时候用手机也可以学习知识，学会了理论之后再去敲代码实践验证，还有Python中文版的库资料、MySQL和HTML标签大全等等，这些都是可以送给粉丝们的东西。

这些都不是什么非常值钱的东西，但对于没有资源或者资源不是很好的学习者来说确实很不错，你要是用得到的话都可以直接抱走，关注过我的人都知道，这些都是可以拿到的。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！