elasticsearch+kafka日志收集和分析以及分布式配置(附)
由于公司内部业务需求,需要将大量的请求日志做统计分析,所以用到了elasticsearch全文搜索引擎
一、采用何种方式做日志收集
1、采用mysql数据同步的方式将数据批量写入elasticsearch,这种方式需要自己控制每次最后一次插入数据的状态,以便下次从上次标记的状态继续同步数据,
2、网上给出的方案为jdbc-river这种方式同步过程比较慢,而且对于百万级数据不是最好的选择,另
原创
2016-05-31 20:48:46 ·
11547 阅读 ·
0 评论