ELK日志分析
ELK相关技术
faith.huan
当你说太晚了的时候,你一定要谨慎,他可能是你退却的借口。
展开
-
从零构建ELK日志分析平台:Logstash7.9将日志解析到ES&用Kibana日志分析
1. 操作前台确保已完成logstash7.9.1 容器安装&解析kafka日志到控制台章节相关内容,本章基于上一章节内容.2. 日志解析到ES2.1 修改logstash配置修改文件/root/docker-compose/logstash/pipeline/log-kafka-dev.conf内容,vim /root/docker-compose/logstash/pipeline/log-kafka-dev.conf将原先输出到控制台配置改为输出到elasticsearch原创 2020-09-06 23:14:10 · 789 阅读 · 2 评论 -
从零构建ELK日志分析平台:Logstash7.9安装&解析kafka日志到控制台
1. 准备1.1 镜像准备下载kibana镜像docker pull kibana:7.9.1此镜像比较大,如果下载速度过慢,可以配置阿里云docker镜像加速查看下载的kibana镜像docker images |grep kibana1.2 虚拟机设置将虚拟机的内存调整到4G以上,不然安装过程可能会很长很卡…2. kibana安装2.1 创建目录/root/docker-compose/kibana,用于存放kibana的docker-compose.yml文件[原创 2020-09-06 16:57:46 · 1957 阅读 · 2 评论 -
从零构建ELK日志分析平台:Kibana7.9安装
简介本文介绍如何用Docker运行kibana,连接上一节搭建的Elasticsearch环境http://192.168.1.14:92001. 准备1.1 镜像准备下载kibana镜像docker pull kibana:7.9.1此镜像比较大,如果下载速度过慢,可以配置阿里云docker镜像加速查看下载的kibana镜像docker images |grep kibana1.2 虚拟机设置将虚拟机的内存调整到4G以上,不然安装过程可能会很长很卡…2. kiban原创 2020-09-06 15:15:04 · 1585 阅读 · 0 评论 -
从零构建ELK日志分析平台:Elasticsearch7.9安装
文章目录1. 准备1.1 镜像准备1.2 系统配置2. elasticsearch安装3. 验证安装1. 准备1.1 镜像准备下载elasticsearch镜像docker pull elasticsearch:7.9.1此镜像比较大,如果下载速度过慢,可以配置阿里云docker镜像加速查看下载的elasticsearch镜像docker images |grep elastic1.2 系统配置设置max_map_countES使用mmapfs来保存索引,系统默认的m原创 2020-09-06 14:19:58 · 865 阅读 · 2 评论 -
从零构建ELK日志分析平台:maven项目日志写入kafka
1. 项目目标使用前面章节构建的Java通用日志组件完成maven项目日志写入kafka.项目完整代码github飞机2. 写入前提kafka已启动如果没有kafka,可参照 kafka单机容器版本安装教程kafka-manager已启动如果没有kafka-manager,可参照 kafka-manager容器版本安装教程Java通用日志组件已安装到本地仓库(或上传至maven私服)若果未安装,可参照 Java通用日志组件3. 项目构建3.1 创建maven项目主要maven依原创 2020-09-05 22:26:35 · 378 阅读 · 0 评论 -
从零构建ELK日志分析平台:springboot日志写入kafka
1. 项目目标使用前面章节构建的Java通用日志组件完成springboot项目日志写入kafka2. 写入前提kafka已启动如果没有kafka,可参照 kafka单机容器版本安装教程kafka-manager已启动如果没有kafka-manager,可参照 kafka-manager容器版本安装教程Java通用日志组件已安装到本地仓库(或上传至maven私服)若果未安装,可参照 Java通用日志组件3. 项目构建3.1 创建springboot项目主要maven依赖如下&原创 2020-09-05 21:38:02 · 793 阅读 · 2 评论 -
从零构建ELK日志分析平台:Java通用日志组件
项目目标构建一个通用的Java日志组件,完成sl4j日志写入kafka,项目github地址项目介绍核心maven依赖logstash-logback-encoder<dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>4.11&原创 2020-09-03 22:43:06 · 618 阅读 · 2 评论 -
从零构建ELK日志分析平台:Kafka-manager安装
文章目录1. 准备1.1 镜像准备2. kafka-manager安装3. kafka-manager使用1. 准备1.1 镜像准备zookeeper镜像docker pull zookeeper:3.6.1kafka-manager镜像此处使用我构建的kafka-manager镜像,构建步骤可参考kafka-manager-dockerdocker pull huanqingdong/kafka-manager:1.3.3.23查看已下载镜像docker images2.原创 2020-09-02 17:15:15 · 396 阅读 · 0 评论 -
从零构建ELK日志分析平台:Kafka安装
文章目录1. 准备1.1 关闭防火墙1.2 镜像准备2. zookeeper安装3. Kafka安装1. 准备1.1 关闭防火墙禁止防火墙开机启动systemctl disable firewalld停止防火墙服务systemctl stop firewalld查看防火墙状态systemctl status firewalld1.2 镜像准备zookeeper镜像docker pull zookeeper:3.6.1kafka镜像docker pull wu原创 2020-08-31 23:34:11 · 420 阅读 · 0 评论 -
从零构建ELK日志分析平台:开篇
功能简介从零构建一个企业级ELK日志分析平台,整体数据流程图如下:章节kafka安装(1)介绍在linux平台上安装kafka,用于缓冲日志流量.kafka-manager安装(2)安装kafka-manager,用于获取kafka主题下消息数量,验证日志是否成功发送到kafka。java通用日志组件项目构建(3)构建一个通用的java日志项目,负责将logback日志写入kafka.spring-boot项目日志写入测试(4)springboot项目集成通用日志组件,进行日志写入测试原创 2020-08-30 10:56:18 · 457 阅读 · 0 评论