使用elasticsearch+simple_flow搭建实时日志搜索系统

    在实际的系统中,我们经常会进行分布式的系统部署,但是这样会导致一个问题,系统日志也被分散开了,导致根据日志进行错误定位不太方便,所以,利用simple_flow实时流的特点,再配合elasticsearch建立索引,搭配构建一个实时日志搜索系统.具体流程图如下:

 

具体实现如下:

1.启动elasticsearch, 这个参考官方文档 http://www.elasticsearch.org/

2.编译安装simple_flow/生成log_index(将日志转化为索引程序)

  2.1 git clone git@github.com:hongliuliao/simple_flow.git 

  2.2 make && make example

3.执行 ./bin/log_index, 之后可以看到日志向elasticsearch传输,并返还创建成功的结果

4.通过RESTful接口查看日志情况,

curl -XGET 'http://localhost:9200/mytest/accesslog/_search?q=log_content:chrome&pretty=true'

 

 

 

 具体代码参考: https://github.com/hongliuliao/simple_flow/blob/master/example/log_index.cpp