初识日志收集分析框架之ELK【一】

一次公司年终技术嘉年华编程马拉松比赛结缘ELK

事情是酱紫的，公司每年都会有年终技术嘉年华盛典，以往都是在年会上看别人站上领奖台，而今也感受了一把编程马拉松的冲冠之路，路途并非坦途，但结果弥足珍贵，虽错失冠军宝座，决赛的#亿级流量日志架构挑战#让人获益匪浅。打住打住打住，下面进入正题：

技术架构选型

基于对赛事题目的分析和最终输出结果，考虑到比赛时间的有限，需要快速搭建一套日志收集分析展示平台，团队选择了Elasticserach+Logstash+Kibana的架构，L用来进行日志收集，ES用来进行日志的分析处理，K作为最终结果的展示，所提供资源4台计算资源+两台网关日志生成机器，具体资源情况如下：

项目	Value	Value	Value	数量
计算机器	4C	8G	150G	4
ES集群	ElasticSerach	V6.5.4		4
L日志收集	Logstash	V6.5.4		2
K展示	Kibana	V6.5.4		1
日志生成机器			5000/s、10000/s、20000/s…	2
JDK	JDK	V1.8

架构图