从零编写日志分析系统之需求分析

前言

最近在公司架设一个日志分析平台，记录一下相关技术的研究和步骤。

技术架构

• 前端技术

---

采用vue.js作为前端基础组件。
采用elementUI作为表单UI
采用echarts图表工具进行实时数据展现。
采用kibana作为数据展现。

• 后端技术

---

采用java语言编写。
使用filebeat进行应用服务器日志采集。
使用logstash进行日志解析和日志转发。
自定义sdk作为系统内数据采集工具。
使用dubbo作为服务调用工具。
使用kafka作为异步消息总线。
使用storm作为实时数据处理工具。
使用elasticsearch作为日志存储工具和离线数据处理。
使用redis作为即时数据存储工具。
使用mysql作为结构化数据存储工具。
使用shiro作为权限管理工具。
使用zookeeper作为分布式锁和配置管理工具。

项目目标

• 问题快速诊断

日志散落在各个系统中，问题发生时需要各个系统查找出问题根源，费事费力。在Dashboard上展现应用相关的各类日志信息，问题发生时能够一站式搜索定位根源。

• 应用性能监控

从海量访问日志中提取访问量、访问成功率、访问响应时间等高价值信息，并能够监控和展现这些应用性能指标

• 运维安全分析

发现用户访问的异常行为和潜在的风险
关联系统、应用、网络等多种日志、追踪非法访问的来源
检测网络异常和应用运行情况

• 日志集中管理

数据冗余保障数据安全
便于随时查询
灵活的日志采集方式
海量日志集中存放