ELK
文章平均质量分 61
不忘丶初衷
这个作者很懒,什么都没留下…
展开
-
Centos7部署EFK并收集日志
架构图:Filebeat收集json格式的nginx日志1)停止nginx和filebeat2)清空nginx日志> /var/log/nginx/access.log3)修改日志格式为json格式:log_format json '{"time_local": "$time_local", ' '"remote_addr": "$remote_addr", ' .原创 2022-01-28 23:23:52 · 4261 阅读 · 0 评论 -
filebeat收集多类型日志并设置不同的索引
一. filebeat分别收集Nginx正常和错误日志filebeat配置文件:1)、filebeat配收集nginx、tomcat日志filebeat.inputs:############nginx##############- type: log enabled: true paths: - /var/log/nginx/access.log json.keys_under_root: true json.overwrite_keys: true tags原创 2022-01-09 18:54:54 · 3938 阅读 · 3 评论 -
centos7安装elasticsearch-head
1、安装Git(如果未安装)yum install gitgit --version #查看版本2、安装Nodeyum -y install nodejs3、安装grunt(如果未安装,head插件的启动使用grunt) npm install -g grunt-cli #安装grunt命令行工具grunt-cli npm install grunt --save-dev #安装grunt及其插件 grunt -version #查看安装版本情况4、下载并转载 2022-01-07 23:46:07 · 504 阅读 · 0 评论 -
定时删除elasticsearch索引
定时删除日志索引脚本#!/bin/bash####################################################### $Name: bbs.centoscn.vip# $Version: v1.0# $Function: clean amazon log index# $Author: djx# $Create Date: 2019-01-08# $Description: shell#################################原创 2021-09-07 20:26:18 · 419 阅读 · 0 评论 -
ELK v7.8集群部署
ElasticSearch基本概念Node:运行单个ES实例的服务器.Cluster:一个或多个节点构成集群Index:索引是多个文档的集合Document:Index里每条记录称为Document,若干文档构建一个IndexType:一个Index可以定义一种或多种类型,将Document逻辑分组Field:ES存储的最小单元Shards:ES将Index分为若干份,每一份就是一个分片Replicas:Index的一份或多份副本。环境配置组件名称 ip 内存 c原创 2021-09-07 20:24:40 · 509 阅读 · 0 评论 -
Elasticsearch 日常维护命令
线上部署了ELK+Redis日志分析平台环境, 随着各类日志数据源源不断的收集, 发现过了一段时间之后, ELK查看会原来越慢, 重启elasticsearch服务器节点之前同步时间也会很长, 这是因为长期以来ELK收集的索引没有删除引起的! 以下是ELK批量删除索引的操作记录:1) 访问head插件(http://10.0.8.44:9200/_plugin/head/) 或者在elasticsearch节点上使用下面命令查看elk的索引(10.0.8.44是elk集群中的任意一个节点) ..原创 2021-05-30 21:47:07 · 499 阅读 · 1 评论 -
ELK整合日志并展示到kibana上
Elasticsearch + logstash + Beats + Kibana整合流程图如下:1、确认日志目录及其日志格式例如:日志格式如下,即可通过|进行分割,按实际环境进行配置,仅供参考2、通过filebeat去读取日志信息并写入到logstash#编写配置文件vim test-dashboard.ymlfilebeat.inputs:- type: logenabled: truepaths:- /test/log...原创 2021-05-23 15:54:17 · 217 阅读 · 0 评论 -
Centos7搭建ELK-7.5.1分布式集群及配置X-Pack
ELK介绍需求背景业务发展越来越庞大,服务器越来越多各种访问日志、应用日志、错误日志量越来越多,导致运维人员无法很好的去管理日志开发人员排查问题,需要到服务器上查日志,不方便运营人员需要一些数据,需要我们运维到服务器上分析日志为什么要用到ELK?一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大也就是日志量多而复杂的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日.原创 2021-05-23 15:41:24 · 193 阅读 · 0 评论