elk的架构演变

最新推荐文章于 2022-12-08 09:51:28 发布
最新推荐文章于 2022-12-08 09:51:28 发布
阅读量1.8w 收藏 2
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43999932/article/details/106836786
版权

image.png
image.png
image.png
image.png

第一章: filbeat模块module
作用:
可以将特定的服务的普通日志转成json格式

1.查看filbeat模块路径
rpm -qc filebeat 

2.配置模块
filebeat添加模块相关参数
=============================
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 10s
=============================

3.查看并激活模块
filebeat modules list
filebeat modules enable nginx
filebeat modules list

4.配置filebeat的nginx模块
[root@db-01 ~]# cat /etc/filebeat/modules.d/nginx.yml 
- module: nginx
  access:
    enabled: true
    var.paths: ["/var/log/nginx/bbs.log"]

  error:
    enabled: true
    var.paths: ["/var/log/nginx/error.log"]

5.配置filebeat根据日志类型做判断
[root@db-01 ~]# cat /etc/filebeat/filebeat.yml 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 10s

output.elasticsearch:
  hosts: ["10.0.0.51:9200"]
  indices:
    - index: "nginx_bbs_access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        fileset.name: "access"
    - index: "nginx_error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        fileset.name: "error"

setup.template.name: "nginx"
setup.template.pattern: "nginx_*"
setup.template.enabled: false
setup.template.overwrite: true

6.配置nginx日志为正常日志
nginx -t
systemctl restart nginx
> /var/log/nginx/bbs.log 
tail -1 /var/log/nginx/bbs.log 	

7.安装es插件
cd /usr/share/elasticsearch/
./bin/elasticsearch-plugin install file:///data/soft/ingest-geoip-6.6.0.zip
./bin/elasticsearch-plugin install file:///data/soft/ingest-user-agent-6.6.0.zip

8.重启es
systemctl restart elasticsearch
删除以前的旧索引

9.重启filebeat
systemctl restart filebeat

10.kibana添加索引
注意:
error添加的时候选择 read_timestamp

11.查看日志是否被解析成了json格式


报错1:
[root@db-01 ~]# filebeat modules list
Error in modules manager: modules management requires 'filebeat.config.modules.path' setting

报错2:
2019-09-11T09:04:40.562+0800	ERROR	pipeline/output.go:100	Failed to connect to backoff(elasticsearch(http://10.0.0.51:9200)): Connection marked as failed because the onConnect callback failed: Error loading pipeline for fileset nginx/access: This module requires the following Elasticsearch plugins: ingest-user-agent, ingest-geoip. You can install them by running the following commands on all the Elasticsearch nodes:
    sudo bin/elasticsearch-plugin install ingest-user-agent
    sudo bin/elasticsearch-plugin install ingest-geoip

第二章: filebeat使用模块收集mysql日志

yum -y install mariadb mariadb-server
1.配置mysql错误日志和慢日志路径
编辑my.cnf
log-error=/var/lib/mysql/error.log
slow_query_log=ON
slow_query_log_file=/var/lib/mysql/slow.log
long_query_time=3

2.重启mysql并制造慢日志
systemctl restart mysql 
慢日志制造语句
select sleep(2) user,host from mysql.user ;

3.确认慢日志和错误日志确实有生成

4.激活filebeat的mysql模块
filebeat modules enable mysql

5.配置mysql的模块
- module: mysql
  error:
    enabled: true
    var.paths: ["/var/lib/mysql/error.log"]

  slowlog:
    enabled: true 
    var.paths: ["/var/lib/mysql/slow.log"]
	
6.配置filebeat根据日志类型做判断
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 10s

output.elasticsearch:
  hosts: ["10.0.0.114:9200"]
  indices:
    - index: "nginx_access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        fileset.module: "nginx"
        fileset.name: "access"
    - index: "nginx_error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        fileset.module: "nginx"
        fileset.name: "error"
		
    - index: "mysql_slowlog-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        fileset.module: "mysql"
        fileset.name: "slowlog"
    - index: "mysql_error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        fileset.module: "mysql"
        fileset.name: "error"

setup.template.name: "nginx"
setup.template.pattern: "nginx_*"
setup.template.enabled: false
setup.template.overwrite: true

7.重启filebeat
systemctl restart filebeat

第三章: 使用input的docker类型收集docker日志

0.docker安装命令
rm -fr /etc/yum.repos.d/local.repo
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo
sed -i 's#download.docker.com#mirrors.tuna.tsinghua.edu.cn/docker-ce#g' /etc/yum.repos.d/docker-ce.repo
yum install docker-ce -y

1.启动2个nginx容器
docker run -d -p 80:80 nginx
docker run -d -p 8080:80 nginx

2.修改filebeat配置文件
filebeat.inputs:
- type: docker
  containers.ids: 
    - '*'

output.elasticsearch:
  hosts: ["10.0.0.114:9200"]
  indices:
    - index: "docker_access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        stream: "stdout"
    - index: "docker_error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        stream: "stderr"

setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true

3.重启filebeat 
systemctl restart filebeat

4.访问nginx制造日志
curl 127.0.0.1/11111111111111111111
curl 127.0.0.1:8080/22222222222222222222
  
5.es-head和kibana查看

第四章: 收集docker日志可以早下班版
场景:
容器1: nginx
容器2: mysql

理想中的情况:
docker_nginx-6.6.0-2019.09
docker_mysql-6.6.0-2019.09

前提条件:
存在可以唯一区分容器业务类型的key
docker-compose安装 报错解决地址https://www.cnblogs.com/eddie1127/p/12003358.html
容器编排: docker-compose

1.安装docker-compose 
yum install -y python2-pip 
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install docker-compose

2.编写docker-compose文件
[root@db-02 ~]# cat docker-compose.yml 
version: '3'
services:
  nginx:
    image: nginx:latest
    labels:
      service: nginx
    logging:
      options:
        labels: "service"
    ports:
      - "80:80"
  db:
    image: nginx:latest
    labels:
      service: db 
    logging:
      options:
        labels: "service"
    ports:
      - "8080:80"

3.删除以前的容器!谨慎操作!
docker rm -f  $(docker ps -a -q)

4.使用docker-compose启动docker容器
docker-compose up -d 


5.配置filebeat配置文件
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/lib/docker/containers/*/*-json.log
  json.keys_under_root: true
  json.overwrite_keys: true

output.elasticsearch:
  hosts: ["10.0.0.114:9200"]
  indices:
    - index: "docker_nginx_access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx"  
        stream: "stdout"
    - index: "docker_nginx_error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "nginx"  
        stream: "stderr"
    - index: "docker_db_access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "db"  
        stream: "stdout"
    - index: "docker_db_error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        attrs.service: "db"  
        stream: "stderr"

setup.template.name: "docker"
setup.template.pattern: "docker_*"
setup.template.enabled: false
setup.template.overwrite: true

6.重启filebeat
systemctl restar filebeat

7.访问nginx制造日志
curl 127.0.0.1/nginxxxxxxxxx
curl 127.0.0.1:8080/dbbbbbbbbbbbbbbbbb

8.es-head和kibana查看

第五章: 收集docker日志涨薪版

0.创建容器日志目录
mkdir /opt/{nginx,mysql}

1.将容器的日志目录挂载到宿主机
docker ps 
docker cp /etc/nginx/nginx.conf 容器ID:/etc/nginx/nginx.conf
docker commit 容器ID nginx:v3
docker rm -f  $(docker ps -a -q)
docker run -d -p 80:80 -v /opt/nginx:/var/log/nginx nginx:v3
docker run -d -p 8080:80 -v /opt/mysql:/var/log/nginx nginx:v3

2.修改filebeat配置文件
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /opt/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["nginx_access"]

- type: log
  enabled: true 
  paths:
    - /opt/nginx/error.log
  tags: ["nginx_error"]

- type: log
  enabled: true 
  paths:
    - /opt/mysql/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["mysql_access"]

- type: log
  enabled: true 
  paths:
    - /opt/mysql/error.log
  tags: ["mysql_error"]

output.elasticsearch:
  hosts: ["10.0.0.114:9200"]
  indices:
    - index: "docker_nginx_access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "nginx_access"
    - index: "docker_nginx_error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "nginx_error"
    - index: "docker_db_access-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "mysql_access"
    - index: "docker_db_error-%{[beat.version]}-%{+yyyy.MM}"
      when.contains:
        tags: "mysql_error"

setup.template.name: "docker"
setup.template.pattern: "docker_*"
setup.template.enabled: false
setup.template.overwrite: true

3.重启filebeat
systemctl restart filebeat

4.访问nginx制造日志
curl 127.0.0.1/nginxxxxxxxxx
curl 127.0.0.1:8080/dbbbbbbbbbbbbbbbbb

第六章: 使用缓存服务来缓解ES压力

1.安装配置redis
yum install redis -y
systemctl start redis 
redis-cli set k1 v1 
redis-cli get k1 

2.配置filebeat
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/bbs.access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true 
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

output.redis:
  hosts: ["127.0.0.1"]
  keys:
    - key: "nginx_access"
      when.contains:
        tags: "access"
    - key: "nginx_error"
      when.contains:
        tags: "error"

setup.template.name: "nginx"
setup.template.pattern: "nginx_*"
setup.template.enabled: false
setup.template.overwrite: true

3.确保nginx日志为json格式
>/var/log/nginx/bbs.access.log 
ab -c 10 -n 100 http://10.0.0.114/oooooooooo
tail -1 /var/log/nginx/bbs.access.log 

4.启动filebeat并测试是否能存到redis里
systectl restart filebeat

redis-cli
keys * 
TYPE nginx_access 
LLEN nginx_access 
LRANGE nginx_access 1 2 

5.安装配置logstash
rpm -ivh logstash-6.6.0.rpm

[root@db-01 /data/soft]# cat /etc/logstash/conf.d/redis.conf 
input {
  redis {
    host => "127.0.0.1"
    port => "6379"
    db => "0"
    key => "nginx_access"
    data_type => "list"
  }
  redis {
    host => "127.0.0.1"
    port => "6379"
    db => "0"
    key => "nginx_error"
    data_type => "list"
  }
}

filter {
  mutate {
    convert => ["upstream_time", "float"]
    convert => ["request_time", "float"]
  }
}

output {
   stdout {}
   if "access" in [tags] {
      elasticsearch {
        hosts => "http://localhost:9200"
        manage_template => false
        index => "nginx_access-%{+yyyy.MM}"
      }
    }
    if "error" in [tags] {
      elasticsearch {
        hosts => "http://localhost:9200"
        manage_template => false
        index => "nginx_error-%{+yyyy.MM}"
      }
    }
}

6.启动Logstash
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/redis.conf

7.检查redis里是否被取走了
redis-cli
LLEN nginx_access 

8.es-head和kibana查看

第七章: 存入redis优化方案

1.优化filebeat,将所有的日志存入一个key中
filebeat.inputs:
- type: log
  enabled: true 
  paths:
    - /var/log/nginx/bbs.access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["access"]

- type: log
  enabled: true 
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]

output.redis:
  hosts: ["127.0.0.1"]
  key: "all"

setup.template.name: "nginx"
setup.template.pattern: "nginx_*"
setup.template.enabled: false
setup.template.overwrite: true

2.logstash从一个key里读取,根据tag标签判断 
input {
  redis {
    host => "127.0.0.1"
    port => "6379"
    db => "0"
    key => "all"
    data_type => "list"
  }
}

filter {
  mutate {
    convert => ["upstream_time", "float"]
    convert => ["request_time", "float"]
  }
}

output {
   stdout {}
   if "access" in [tags] {
      elasticsearch {
        hosts => "http://localhost:9200"
        manage_template => false
        index => "nginx_access-%{+yyyy.MM}"
      }
    }
    if "error" in [tags] {
      elasticsearch {
        hosts => "http://localhost:9200"
        manage_template => false
        index => "nginx_error-%{+yyyy.MM}"
      }
    }
}
新手上路丶大家小心
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ELK日志分析集群部署
夏颜的博客
07-07 649
1）将APP servers的日志进行集中化管理到Logstash agent。 2）将日志格式化（Logstash）并输出到Elasticsearch cluster 3）对格式化后的数据进行索引和存储（Elasticsearch） 4）前端数据的展示（Kibana） 5）可以在线查看界面化展示。（1）提供了一个分布式多用户能力的全文搜索引擎； （2）是一个基于Lucene的搜索服务器；（3）基于restful web接口； （4）使用java开发； （5）作为apache许可条款下的开放源码发布，是第二
【原创】分布式之elk日志架构的演进
weixin_30737433的博客
10-16 128
引言 好久没写分布式系列的文章了，最近刚好有个朋友给我留言，想看这方面的知识。其实这方面的知识，网上各种技术峰会的资料一抓一大把。博主也是凑合着写写。感觉自己也写不出什么新意，大家也凑合看看。 日志系统的必要性? 我15年实习的时候那会，给某国企做开发。不怕大家笑话，生产上就两台机器。那会定位生产问题，就是连上一台机器，然后用使用 grep / sed / awk 等 Linux 脚本工具去日志里...
ELK日志分析系统架构演变
纸上得来终觉浅，绝知此事要躬行
04-04 434
文章转自：https://www.jianshu.com/p/66db4d660d9c ELK中文网： https://elasticsearch.cn/ 背景介绍 随着软件行业的发展，软件系统的生产部署结构日趋复杂。对于一个分布式的系统，同一应用通常部署在不同的节点上，通过负载均衡的方式将请求分发到各个不同的节点进行处理。此时就会相对增加生产运维的复杂度，在进行问题查询的时候很难判断本次请求是在哪台机器上执行的，也就无法快速的对日志进行查询从而定位问题，因此，就需要对日志进行统一的处理...
分布式实时日志：ELK 的部署架构方案
LinkSLA的博客
12-08 495
ELK 已经成为目前最流行的集中式日志解决方案，它主要是由 Beats、Logstash、Elasticsearch、Kibana 等组件组成，来共同完成实时日志的收集，存储，展示等一站式的解决方案。
【ELK】部署-常见应用架构
qq_41466440的博客
11-12 856
常见应用架构
日志大数据架构演变分析实践 - NeekeGao.pdf
08-24
【日志大数据架构演变分析实践】探讨了在大数据背景下，如何有效地管理和利用日志数据。日志数据在现代IT系统中扮演着至关重要的角色，它们是系统行为的记录，可以帮助我们进行故障排查、性能监控、安全审计以及业务...
日志大数据架构演变分析实践 - NeekeGao.zip
10-25
日志大数据架构的演变，揭示了从传统日志处理到现代大数据平台的转变，涉及到数据收集、存储、处理和分析等多个层面。NeekeGao的实践分享为我们提供了深入理解这一演变过程的宝贵资源。 首先，我们关注日志数据的...
大型网站架构演变和知识体系.doc
05-26
《大型网站架构演变和知识体系》是一本深入探讨构建与优化大规模互联网应用的权威文档。在互联网行业快速发展的今天，大型网站的架构设计已经成为技术团队面临的重大挑战之一。本书全面覆盖了从初期的小型网站到应对...
大型网站架构演变和知识体系
12-12
这一步涉及缓存架构设计，包括数据结构选择（如 Map）、缓存替换策略（如 FIFO、LRU 或 LFU）、缓存框架的使用和优化等。 **架构演变第五步：增加 WebServer** 随着访问量持续增长，单台 WebServer 可能无法承载...
万字长文：ELK（V7）部署与架构分析
07-21 318
ELK（7版本）部署与架构分析 1、ELK的背景介绍与应用场景 在项目应用运行的过程中，往往会产生大量的日志，我们往往需要根据日志来定位分析我们的服务器项目运行情况与BUG产生位置。一般情况下直接在日志文件中tailf、 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量过大、文本搜索太慢、如何多维度查询。这就需要对服务器上的日志...
ELK部署流程
晓飒漫云间
05-18 757
## 修改 #-- 修改备注了要修改的地方，其他地方按文档中的配置 #=========================== Filebeat inputs ============================= #####filebeat 配置如下内容### filebeat.inputs: - type: log enabled: true paths: - /opt/web/hirong-authentication-api-center/logs/*.log #--修改点--
ELK 日志分析系统部署
牧竹子
08-08 4940
ELK 日志分析系统 组件简介 0、beats :日志收集客户端 1、Logstash：日志收集服务端 2、Elasticsearch ：日志搜索引擎持久化 3、Kinaba ：数据分析工具 Beats可以直接（或者通过Logstash）将数据发送到Elasticsearch，在那里你可以进一步处理和增强数据，然后在Kibana中将其可视化。 Beats是个工具集，它包含了filebeat，w...
Elastic Stack(ELK)简介与安装部署流程
xb_workspace的博客
12-21 2766
1、ELK介绍 ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana , 它们都是开源软件。不过现在还新增了一个Beats，它是一个轻量级的日志收集处理工具(Agent)，Beats占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具，目前由于原本的ELK Stack成员中加入了 Beats 工具所以已改名为Elast...
常用的ELK/EFK架构
IChen.的博客
08-24 473
基础架构： 1/ Kibana---->elasticsearch---->Logstash(收集) 2/ Kibana---->elasticsearch---->filebeat(收集) 3/ Kibana---->elasticsearch---->Logstash(过滤)---->filebeat(收集) 扩展架构： 1/ Kibana---->elasticsearch---->Logstash(过滤)---->redis(缓存)-
集中日志系统ELK
Java个体户
10-03 260
作用 以前都是登陆到每个机器去看日志，特别是一个服务有多个机器集群部署，还要下载多个机器的日志(运维下载日志，然后给开发排查问题)，现在elk是集中式日志系统，所有的项目和项目集群都在一个日志系统里，而且可以搜索。 界面 组成 L是收集日志，还有解析日志 E是搜索引擎，就是ElasticSearch K就是界面 流程 原始日志(L的客户端)——收集和解析日志(L的服务器端)——搜索引擎(E)——界面展示(K) 解释 1.收集日志和解析日志 收集日志就是客户端到服务器，就是把L客户端安装到部署项目的机器，
ELK 日志分析平台搭建
userwyh的专栏
10-22 4330
一、ELK介绍本节内容来自 开源实时日志分析ELK平台部署，感谢原作者详细的介绍。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这
Filebeat 安装部署 持续更新
weixin_45717886的博客
07-08 1081
filebeat 采集项目日志
filebeat配置文件
jialiu111111的博客
01-25 3551
filebeat.yml配置文件 # ============================== Filebeat inputs =============================== #input设置，支持Docker,Container,HTTP JSON,Log,Kafka,MQTT,NetFlow,Redis,TCP,DCP,Syslog,Stdin filebeat.inputs: #input类型，默认是log #一个type表示一个input，可以有多个 - type: log
解决logstash报错[ERROR][logstash.config.sourceloader] No configuration found in the configured sources.
热门推荐
巨魔战将
11-07 1万+
在做产品研发环境部署是，发现一个错，记录下来，以给遇到同样问题的筒子们 报错信息： [troll@standalone logstash-6.4.3]$ bin/logstash -f data-conf/zipkin-server.conf Sending Logstash logs to /var/log/logstash which is now configured via log4j2...
大数据之ELK教学课件.docx
最新发布
11-26
大数据之ELK教学课件.docx

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值