ELK Stack
文章平均质量分 94
企业日志管理平台之ELK Stack
寻花之梦~~
SRE
展开
-
Vector 高性能日志收集工具
Vector 是一种高性能的可观察性数据管道,可让组织控制其可观察性数据。收集、转换并将所有日志、指标和跟踪路由到SRE团队想展示或者存储的任何地方。由于 Vector 用 Rust 编写,提供了内存安全和效率保证,使其在其他现有工具中独树一帜。Vector 引入了单元测试框架,可以更轻松地维护复杂的日志收集工具拓扑。属于一款新型开源产品,比所有替代方案快 10 倍(引用官方话语)。原创 2023-04-13 19:55:49 · 2960 阅读 · 0 评论 -
ES集群可视化管理工具-Cerebro
文章目录1. cerebro简介2. 环境要求3. cerebro安装4. 访问cerebro5. 面板介绍6. LDAP集成7. Docker方式安装1. cerebro简介cerebro是一个开源(MIT许可)Elasticsearch web管理工具,使用Scala、Play框架、AngularJS和Bootstrap构建。GitHub地址:https://github.com/lmenezes/cerebro2. 环境要求软件环境:cerebro需要Java 1.8或更高版本才能运行。原创 2020-10-31 23:04:22 · 1737 阅读 · 0 评论 -
255. 安装部署Logstash及Kibana生产实践
文章目录1. 制作Logstash镜像2. 配置并启动Logstash3. 验证Elasticsearch里的索引4. 交付Kibana到k8s集群4.1 准备镜像4.2 准备资源配置清单4.3 DNS解析4.4 应用资源配置清单4.5 访问验证4.6 配置Kibana索引分组5. 收集多环境日志(Test&Prod)5.1 修改资源配置清单5.2 启动Logstash-prod容器5.3 访问验证5.4 检查Kafka有没有拿到5.5 kibana收集k8s-prod日志5.6 回归验证6. Ki原创 2020-09-05 12:59:57 · 226 阅读 · 0 评论 -
254. Filebeat对接Dubbo服务消费者
文章目录Filebeat对接Dubbo服务消费者1. 制作filebeat镜像2. 运行dubbo消费者3. 访问验证Dubbo及KafkaFilebeat对接Dubbo服务消费者1. 制作filebeat镜像# 官网有现成的docker镜像可以考虑使用: https://www.elastic.co/guide/en/beats/filebeat/current/running-on-docker.html1.编写Dockerfile[root@k8s7-200.host.com /data/d原创 2020-09-04 18:47:52 · 178 阅读 · 0 评论 -
253. 安装部署Kafka
文章目录1. 下载安装kafka2. 部署Kafka-manager2.1 镜像制作2.2 准备资源配置清单2.3 DNS解析2.4 应用资源配置清单3. 验证http://kafka.apache.org/Kafka是有状态的服务,一般部署在Kubernetes之外,本次部署在 k8s7-11.host.com。由于后面需要部署的Kafka-manager只支持到 2.2.0 版本,因此这次部署采用kafka_2.12-2.2.0版本,其中2.12为Scala版本号。1. 下载安装kafka[ro原创 2020-09-04 17:17:00 · 182 阅读 · 0 评论 -
252. 二进制安装Elasticsearch
二进制安装ElasticsearchElasticsearch 是一个有状态的服务,不建议部署在Kubernetes集群中,本次采用单节点部署Elasticsearch,部署节点为 k8s7-12.host.com官网传送门—》https://www.elastic.co/cn/1. 下载二进制文件[root@hdss7-12 src]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.6.tar原创 2020-09-04 16:23:31 · 1278 阅读 · 0 评论 -
ELK架构接入Redis
接上一篇博文整理:ES接入Redis1.安装redis[root@redis ~]# yum install redis -y2.配置redis密码[root@redis ~]# grep "^[a-Z]" /etc/redis.conf |head -4bind 127.0.0.1 10.0.0.50requirepass 1234563.启动redis[root@red...原创 2020-02-17 22:13:40 · 301 阅读 · 1 评论 -
ELK应用之 Packetbeat分析网络包流量
1. 介绍packbeat是一个开源的实时网络抓包与分析框架,内置了很多常见的协议捕获及解析,如HTTP、MySQL、Redis等。在实际使用中,通常和Elasticsearch以及kibana联合使用,用于数据搜索和分析以及数据展示。 目前Packebeat支持的协议如下:ICMP (v4 and v6) DNS HTTP Mysql PostgreSQL Redis...原创 2020-01-18 23:50:21 · 2087 阅读 · 0 评论 -
ELK应用之Heartbeat 监控
1.安装heartbeat[root@web01 ~]# rpm -ivh heartbeat-7.4.0-x86_64.rpm2.配置heartbeat[root@web01 ~]# egrep -v "^#|^$" /etc/heartbeat/heartbeat.yml heartbeat.config.monitors: path: ${path.config}/moni...原创 2020-01-18 23:16:23 · 737 阅读 · 0 评论 -
ELK应用之Metricbeat 监控
module 官方提供可采集指标的对象: nginx mysql redis 系统 …metricset 采集这个模块中的那些个具体的指标: CPU 内存 IO 网络1. Metricbeat组成:2. Metricbeat监控系统1.安装metricbeat[root@web01 ~]# rpm -ivh metricbeat-7.4.0-x86_64.rpm...原创 2020-01-18 22:28:41 · 708 阅读 · 0 评论 -
Filebeat-modules 日志分析
filebeat module将非结构化数据,转为结构化数据. module logstashfilebeat module --> ES.1. 使用filebeat module采集Nginx日志 (Nginx日志是非结构数据)1)修改filebeat配置文件[root@web01 ~]# cat /etc/filebeat/filebeat.ymlfilebea...原创 2020-01-18 21:37:16 · 1223 阅读 · 0 评论 -
Kafka集群接入ELK打造海量日志分析平台
1. 消息队列基本介绍1. 什么是消息队列?消息Message :比如两个设备进行数据的传输,所传输的数据,都可以称为消息,可以是文本、音频队列Queue :是一种”先进先出 的数据结构。类似排队买票、羽毛球筒。消息队列MQ :是用来保存消息的一个容器。 消息队列需要两个功能接[ 7供外部调用,一个是生产一个是消费。主要是进行数据存储和读取。把数据放到消息队列叫做生产者,从队列里取数...原创 2020-01-17 21:13:18 · 419 阅读 · 0 评论 -
ELK应用之Logstash 数据转换
1. LogstashLogstash 是开源的数据处理管道,能够同时出来从多个源采集数据,转换数据,然后输出数据2. Logstash架构介绍Logstash 的基础架构类型pipeline流水线 input: 数据采集(常用插件:stdin,file,kafka,beat,http) Fileter:数据解析/转换(常用插件:grok,date,geoip,mutate,userag...原创 2020-01-16 13:35:26 · 1878 阅读 · 0 评论 -
ELK应用之Filebeat 日志采集
1. Filebeat基本介绍Filebeat是用于“转发”和“集中日志数据”的“轻量型数据采集器”。Filebeat 监视您指定的日志文件路径,收集日志事件并将数据转发到Elasticsearch或Logstash、Redis、 Kafka等。2. Filebeat主要组件Filebeat包含两个主要组件:输入和收割机,这些组件协同工作将文件尾部最新事件数据发送到指 定的输出1.输入...原创 2020-01-14 22:42:00 · 543 阅读 · 0 评论 -
Elastcisearch 7.4 集群交付
Elasticsearch 是一个分布式,RESTful(curl命令操作系统) 风格的搜索和数据分析引擎。原创 2020-01-13 22:48:02 · 428 阅读 · 0 评论