简介:
日常的各种应用都有很多的日志文件,某些特殊的应用需要分析日志,对于较小的应用我门可以采用自己编写脚本工具来完成分析,那么对于大型应用的日志数据,我们就需要借用开源软件帮助我们完成。我将会分两部分来讲,第一部分是介绍如何使用Python+echart 完成日志可视化的任务,后部分讲给大家介绍如何使用Elasticsearch + logstash + Kibana 实现对日志的实时大批量的数据可视化。
Python实现
背景:如果老板让你对一个web应用的访问日志进行分析,给力你一些基本的要求,比如说访问量最大的IP地址,防止爬虫影响网站运行。分析访问客户的一些特征。
1.简单版本
你写了一个脚本,去分析日志,出一个报表,基本满足了老板的要求,但是没有什么特点,不能让你的工作出色。
2. Django版本
你整懂得一些web开发知识,决定写一个一个web工具报表更好的展示,这样了老板就不用每次都查看邮件了,只要点点就能找到他想看到的数据。
2.1 这样他只显示前10可能不够,偶尔会看到后面的,做好是能查看所有的,按照访问量排序。