1. Splunk
使用Schema on read的log处理方式:将 log 等信息高速录入数据库,但是只有在每次调用时才进行结构化。
优点:当有大量新增数据来源或者短时间内需要录入大量数据时,on read 可以高速记录节省时间,但是对于大数据分析则难以与 on write 效率相比。
2. Elastic
使用Schema on write的log处理方式:将 log 等信息在录入数据库时就进行结构化
优点:方便录入后未来每一次查询(query)都可以快速得出结果。尤其是数据规模爆炸式增长时,且如果任务偏重于数据分析的实时性和性能更重要时,搜索速度和效率就会更有价值。
时代选择:自企业数字化转型及云迁徙浪潮展开以来,数据可见性,应用监控,性能分析,商业洞见分析,云网络安全,以及一系列的数据搜索需求都将天平向优先搜索效率倾斜。上述的这些应用范围都是基于搜索的(search 或者查询 query)结构性数据搜索即使范围再大也都能在毫秒级完成,而同样的搜索在非结构数据库的时间在几分钟到几小时之间。对于 Observability 应用,结构性数据才能做到 Log,Metric 和 Trace 的相互关联性(correlate),发出一个查询之后可以在三者之间任意切换才可以全局性了解事件的起因,影响和最佳解决方案。而高效高规模化地完成这个任务,Schema on write 的事件管理系统无疑更优。