https://www.rizhiyi.com/ 日志易——中国版的splunk 官方号称 10万EPS (Event Per Second)
其他链接:
http://doc.mbalib.com/view/7759ffbe943248dc0b84e75455ee897f.html
http://tech.it168.com/a2015/1022/1770/000001770925.shtml
https://36kr.com/p/5036279.html
http://www.afenxi.com/post/4140
http://dbaplus.cn/news-21-159-1.html
技术:分布式消息总线+spark streaming+未知搜索引擎(应该是定制的ES)
Q1:您说的可编程是ES的表达式?能讲一下实现了那些表达式,我们能做些什么功能?
A1:transaction (事务关联)、eval(算术表达式)、stats(统计)、sort(排序)等等。https://www.rizhiyi.com/docs/howtouse/transaction.html 发布了部分命令的使用指南。
Q7:每天6TB的数据,需要多少个elk的节点?然后是否需要增加一些ssd来做处理?
A7:取决于服务器的性能,近百台服务器吧,有SSD当然更好。
Q10:你们对es做的改造能实现不同的业务数据按任意的字段进行关联分析吗?
A10:只要不同业务的日志包含了相同的字段,就可以关联分析。
Q13:看你们的介绍有使用spark-streaming,那它在系统中是用来做什么功能呢?
A13:抽取字段,把日志从非结构化数据转换成结构化数据。