日志易——中国版的splunk

本文详细介绍了日志易,一款被誉为中国版Splunk的日志分析平台。其核心技术包括分布式消息总线、SparkStreaming及定制化的Elasticsearch。文章解答了关于日志处理能力、ELK集群规模、业务数据关联分析以及SparkStreaming在系统中的角色等问题。
摘要由CSDN通过智能技术生成

https://www.rizhiyi.com/ 日志易——中国版的splunk 官方号称 10万EPS (Event Per Second)

其他链接:

http://doc.mbalib.com/view/7759ffbe943248dc0b84e75455ee897f.html

http://tech.it168.com/a2015/1022/1770/000001770925.shtml

https://36kr.com/p/5036279.html

http://www.afenxi.com/post/4140

http://dbaplus.cn/news-21-159-1.html

 技术:分布式消息总线+spark streaming+未知搜索引擎(应该是定制的ES)

 

Q1:您说的可编程是ES的表达式?能讲一下实现了那些表达式,我们能做些什么功能?

A1:transaction (事务关联)、eval(算术表达式)、stats(统计)、sort(排序)等等。https://www.rizhiyi.com/docs/howtouse/transaction.html 发布了部分命令的使用指南。

 

Q7:每天6TB的数据,需要多少个elk的节点?然后是否需要增加一些ssd来做处理?

A7:取决于服务器的性能,近百台服务器吧,有SSD当然更好。

 

Q10:你们对es做的改造能实现不同的业务数据按任意的字段进行关联分析吗?

A10:只要不同业务的日志包含了相同的字段,就可以关联分析。

 

Q13:看你们的介绍有使用spark-streaming,那它在系统中是用来做什么功能呢?

A13:抽取字段,把日志从非结构化数据转换成结构化数据。

转载于:https://www.cnblogs.com/bonelee/p/6148370.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值