从零开始编写日志分析系统
yulio1234
这个作者很懒,什么都没留下…
展开
-
从零编写日志分析系统之需求分析
前言最近在公司架设一个日志分析平台,记录一下相关技术的研究和步骤。技术架构 前端技术 采用vue.js作为前端基础组件。 采用elementUI作为表单UI 采用echarts图表工具进行实时数据展现。 采用kibana作为数据展现。 后端技术 采用java语言编写。 使用filebeat进行应用服务器日志采集。 使用logstash进行日志解析和日志转发。 自定义sdk作为系统内数据采原创 2017-09-04 09:39:38 · 2996 阅读 · 0 评论 -
从零编写日志分析系统之linux用户创建
服务器使用root用户不好,还是要建个新用户。 添加一个新的用户组 groupadd alms 添加一个新的用户并分配alms用户组 useradd alms_admin -g alms 设置密码 passwd alms_admin 分配sudo权限,并设置无密切换 修改/etc/sudoers添加一行alms_admin ALL=(ALL) NOPASSWD: ALL这样,用户和用户组就创建原创 2017-09-04 10:08:48 · 353 阅读 · 0 评论 -
从零编写日志分析系统之elasticsearch5.5.2环境搭建
去官网找到下载地址 官网地址:https://www.elastic.co/downloads/elasticsearch 在服务器里下载安装包 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.tar.gz 下载完成后解压 tar -zxvf https://artifacts.ela原创 2017-09-04 11:10:56 · 377 阅读 · 0 评论 -
从零编写日志分析系统之nginx日志配置
配置nginx日志文件nginx原有的配置文件包含的信息比较少,可以修改nginx.conf得到更多的数据。nginx日志文件输出形式有三种形式,最常见的就是通过空格区分字段输出。还有通过自定义json形式输出,通过syslog直接输出到远端服务。 通过空格区分输出 log_format main '$remote_addr $remote_user [$time_local] "$reques原创 2017-09-05 10:28:49 · 613 阅读 · 0 评论 -
从零编写日志分析系统之filebeat安装配置
filebeat和logstach都是日志采集工具,不过logstach可以进行数据清洗。在应用服务器上直接安装Logstash比较消耗性能,所以需要安装filebeat来获取数据,再转发到logstash进行数据清洗。filebeat安装filebeat很小巧,只有8M,通过配置yum源就能安装。不过我是在官网下载的安装包。 官网下载地址:https://www.elastic.co/downl原创 2017-09-05 14:28:10 · 783 阅读 · 0 评论 -
从零编写日志分析系统之logstash
概述logstash是负责采集和解析日志的,将日志解析成需要的格式存储在elasticsearch或者其他地方。logstash提供了很多非常强大的插件,这些插件可以有效的把日志信息转换成需要的格式。一:安装首先取官网下载logstash安装包,这次版本选择最新的6.1.1 安装:wget https://artifacts.elastic.co/downloads/logstash/logsta原创 2017-12-22 10:45:59 · 3328 阅读 · 0 评论