ELK下kibana安装Metricbeat工具

最新推荐文章于 2024-08-14 10:15:58 发布
最新推荐文章于 2024-08-14 10:15:58 发布
阅读量2.7k 收藏 6
点赞数 2
分类专栏： ELK、K8S、虚拟化Docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40907977/article/details/104724314
版权

metricbeat简介

  • 将 Metricbeat 部署到您所有的 Linux、Windows 和 Mac 主机，Metricbeat可以定期收集操作系统和服务器的运行指标（CPU，内存，硬盘，IO,读写速度，进程等等），线程数等机器物理性能，类似于Windows的资源管理器功能。
  • Metricbeat可以将收集到的指标和数据发送到你指定的输出，比如：elasticsearch，最终达成监视服务器的目标。
  • 时序控件（Timelion）是一款时间序列数据可视化工具，它可以将多种独立的数据源合并呈现到一张视图上。
  • 使用Elastic公司的Metricbeat，Metricbeat和Filebeat一样，是一个轻量级的采集器，不但可以监控服务器的性能指标，还可以监控运行在服务区之上的应用信息(eg.Apache、MongoDB、MySQL、Ngnix、PostgreSQL、Redis、Zookeeper、System)。
  • Metricbeat 提供多种内部模块，用于从服务中收集指标。安装简单，完全零依赖性。只需在配置文件中启用所需的模块即可，可谓是按需使用。

实验的机器环境如下：
操作系统：Ubuntu 16.04
ELK版本：6.2.3
下载metricbeat

#wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.2.3-linux-x86_64.tar.gz
#解压
#tar xzvf metricbeat-6.2.3-linux-x86_64.tar.gz

或者

#curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.2.3-x86_64.rpm
#sudo rpm -vi metricbeat-6.2.3-x86_64.rpm

windows下安装

PS > cd 'C:\Program Files\Metricbeat'
PS C:\Program Files\Metricbeat> .\install-service-metricbeat.ps1

配置dashboard
修改metricbeat-6.1.2-linux-x86_64目录下的metricbeat.yml,该文件为metricbeat的配置文件。

etricbeat.modules:
- module: system
  period: 10s
  metricsets:
    - cpu
    - load
    - memory
    - network
    - process
    - process_summary
    #- core
    #- diskio
    #- socket
  processes: ['.*']
  process.include_top_n:
    by_cpu: 5      # include top 5 processes by CPU
    by_memory: 5   # include top 5 processes by memory
- module: system
  period: 1m
  metricsets:
    - filesystem
    - fsstat
  processors:
  - drop_event.when.regexp:
      system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib)($|/)'
- module: system
  period: 15m
  metricsets:
    - uptime

# 直接发送elasticsearch
output.elasticsearch:
  hosts: ["172.30.1.45:9200"]

# 要加载仪表板，可以在metricbeat设置中启用仪表板加载。当仪表板加载被启用时，Metricbeat使用Kibana API来加载样本仪表板。只有当Metricbeat启动时，才会尝试仪表板加载。
# 设置kibana服务地址
setup.kibana.host: "172.30.1.45:5601"
# 加载默认的仪表盘样式
setup.dashboards.enabled: true
# 设置如果存在模板，则不覆盖原有模板
setup.template.overwrite: false

或者
找到Dashboards,找到下面这行：

#setup.dashboards.enabled: false

去掉注释并把参数改为true：

setup.dashboards.enabled: true

在这里插入图片描述
配置kibana
找到kibana部分，把host注释去除，修改为kibana的ip+端口。

# 要加载仪表板，可以在metricbeat设置中启用仪表板加载。当仪表板加载被启用时，Metricbeat使用Kibana API来加载样本仪表板。只有当Metricbeat启动时，才会尝试仪表板加载。
setup.kibana:
　　host: "localhost:5601"
# 加载默认的仪表盘样式
setup.dashboards.enabled: true

在这里插入图片描述
配置elasticsearch
找到elasticsearch部分，把host注释去除，修改为elasticsearch的ip+端口。

#hosts: ["localhost:9200"]
改成
hosts: ["0.0.0.0:9200"]

在这里插入图片描述
在这里插入图片描述
启动
导入kibana模块
切换到metricbeat根目录，执行启动命令：

#./metricbeat modules enable kibana   #centos用法

#./metricbeat -e -c metricbeat.yml -d "publish"    #ubuntu用法

在这里插入图片描述
配置模块生效
后台启动服务（前提是es和kibana已经启动）

./metricbeat -e &

检查metricbeat是否正常运行：curl -XGET ‘http://172.30.1.45:9200/metricbeat-*/_search?pretty’（返回索引对应内容）
显示输出

浏览器中访问http://172.30.1.45:5601/ 
在discover项选择metricbeat-*查看metric的数据； 
在dashboard项点击open选择要查看的数据，如: 查看Metricbeat-memory：

metricbeat模块的配置
查看metricbeat开启了哪些模块（跟filebeat一个套路）

#su - elk
#cd /home/elk/metricbeat/metricbeat-7.5.1-linux-x86_64
#./metricbeat modules lis

在这里插入图片描述
https://blog.csdn.net/xoofly/article/details/103812271?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

结果

打开kibana的dashboard，查看结果。timelion部署成功
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

注意 ： 如果只是最上面各种率没有图，下面cpu什么的有图，但是最前面是没数值的，可能是终端的时间与服务器时间不匹配，稍早一点儿造成的。

metricbeat模板字段自己设置

1.metricbeat 字段模板定义在fields.yml

在metricbeat.yml文件中添加，字段模板定义

setup.template.fields: fields.yml

备份一份fields.yml, 现在可以修改fields.yml,删除一些不需要用到的，如redis 等。

开始安装使用的时候，报如下错误，在各type：ip都在- key: ecs 下面定义，我们可以把type： ip改为type：keyword试试。
在这里插入图片描述
删除里面的冗余的字段，如果不删除一下，在elasticsearch里面会创建2300多个字段，删除一些没用到的，可以精简。

把type: ip 修改或者删除这个类型的字段后， 在使用Canvas中就没有报以上的错误了。

更多的Canvas 使用，需要根据自己的业务场景设置。 更多的还有一些element的使用，需要多熟悉，才能得心应手。

Metricbeat添加ip address信息

Metricbeat默认输出信息里没有ip地址，6.3版本之后可以通过add_host_metadata 来开启附带ip信息（没测试过）

原本我是通过修改modules.d/system.yml文件，在每项后面加自定义fields.ip字段来添加ip信息，类似下面这样：

- module: system
  period: 15m
  metricsets:
    - uptime
  fields:
    ip: "192.168.1.188"

现在更好的办法是修改metricbeat.yml文件，通过加一行name: 192.168.1.30来实现，这样数据中的beat.name就会随之改变
在这里插入图片描述
在这里插入图片描述

注意 ： 需要下载Metricbeat，以及下载对应的kibana版本。
es函数

1、index 指明索引    .es(index=nginx-access-log-*
2、q    q查询
3、timefield  指定时间轴采用的字段，默认@timestamp   timefield=@timestamp
4、metric  指明展示指标，默认是个数。metric aggregation：avg,sum,min,max,cardinality。后面接字段名，例"sum:bytes"
5、split  按照某字段分组数据
6、offset 设置时间偏移值，比如-1d -1h offset=-1d

自定义和格式化可视化

.title(title="qps") 标题 .title('v.ubox.cn-QPS')
.label("yesterday") 标签
.lines($width,$fill,$show,$steps) 折线图    fill填充，width线宽  .lines(fill=1,width=0.5)
.bars($width) 柱状图
.points() 散点图
.color() 颜色 .color(#1E90FF) .color(red)
.legend($position,$column) 设置图例的位置和样式 .legend(columns=2, position=nw)
.static(value=1024, label="1k", offset="-1d", fit="scale")   绘制一个固定值
.value y轴值

举例子：
es(index=nginx-access-log-*,timefield=@timestamp,q=source:/logs/access.log,metric=sum:bytes).divide(1048576).label(‘流量曲线图’).lines(width=1.5)

两条曲线对比：
.es(index=nginx-access-log-,timefield=@timestamp,q=source:/logs/access.log,metric=sum:bytes).divide(1048576).label(today).title(‘流量对比图(MB/s)’).lines(width=1.5),.es(offset=-1d,index=nginx-access-log-,timefield=@timestamp,q=/logs/access.log,metric=sum:bytes).divide(1048576).label(yesterday).lines(width=1.5).multiply(-1)
在这里插入图片描述
可以在一个图中画多条曲线，使用逗号分隔 offset时间偏移量 -1d 前一天的 multiply(-1)显示在y轴负半轴。

Timelion的if-then-else

oh，Timelion条件，我们几乎不认识你。用时间来解决问题。前段时间，Timelion安静的介绍了.condition()函数，是一个超强的能力。此外，这篇文章的标题是一个完整的谎言，我有多种方式可以调用.condition()。另外一个是.if()。它的作用和.condition()完全相同，但是它更短，所以从这里开始我们使用.if()。

.if()允许我们基于点对比来改变点。它支持小于(lt)，小于等于（lte），等于（eq），大于(gt)和大于等于（gte）和点与其它数值进行比较，或其它序列相同点进行比较。
开始使用其中的三个参数。

  • operator 从lt,lte,eq,gt,gte中选择一个。您可能会注意到这些与elasticsearch用于范围查询的缩写相同。
  • if 您将使用您指定的运算符将原始系列中的每个点与该值进行比较。
  • then 如果条件匹配，则将该点设置为此值
    　　在以下屏幕截图中，绿线将始终是我们的原值，我们将为我们的修改系列使用其他颜色。让我们将每个小于500的点都设置0。
.es().if(lt,500,null)

在这里插入图片描述
那很简单。我们如何设置每一个超过或大于500的为1000，有效使用二进制序列，1000表示点大于等于500和0表示小于500。我们可以这样串联两个.if（）调用。

.es().if(lt, 500, null).if(gte, 500, 1000)

但是等等，我们可以使用第四个参数将其缩短到.if（）。第四个参数是else，如果条件不匹配，它将该点设置为一个值。所以试试这个

 .es().if(lt, 500, 0, 1000)　

在这里插入图片描述
　Cool！这些是基础知识，但是.if()可以超过静态数值比较。阅读on brave soul（在勇敢的灵魂）。

Dynamic? Dynamite!

到目前为止，我们已将点数与静态数字进行了比较。如果我们想比较我们的系列与另一个系列怎么办？例如，当系列超过其10点移动平均线时，绘制点为0，否则不显示。下面你会看到我们将.es（）.mvavg（10）作为if参数传递。这将对移动平均线和原始的.es（）系列进行点对点比较。我们前提的另一部分，没有显示，可以通过将null传递给else来实现。

.es().if(gt, .es().mvavg(10), 0, null).points()

在这里插入图片描述
　　是的，没关系，但是我们也可以通过一个系列的then做得更好。我们可以传回原来的系列，并绘制一些竖条，通过使用.bars（）而不是.points（）来指出系列超过移动平均线的地点。

.es().if(gt, .es().mvavg(10), .es(), null).bars(3)

在这里插入图片描述

Altogether now

现在我们采用我们新发现知识，并使用它来获得喜好，就像绘制一个阴影线，绿色的地方，我们超过平均值，红色，小于平均值。

.es().if(gt, .es().mvavg(10), .es(), null).bars(3).color(#BEDB39).label(over), .es().if(lte, .es().mvavg(10), .es(), null).bars(3).color(#c66).label(under)

在这里插入图片描述
　　好，非常好。还在想这个Timelion的所有业务是什么？阅读教程，还需要更多？看看这个视频从Elastic paris聚会并且我会带你一丝不苟的阅读。此外，您可以在尝试用另一方面时，用麦克风看着我。

1、metricbeat 监控 nginx 情况

配置文件

Metricbeat:
#metricbeat  modules enable nginx
nginx.yml
- module: nginx
  metricsets: ["stubstatus"]
  period: 10s

  # Nginx hosts
  hosts: ["http://127.0.0.1"]

  # Path to server status. Default server-status
  server_status_path: "basic_status" #According to the situation，and depending
  
Nginx: (nginx need to compile install)
requried module: --with-http_stub_status_module
    
nginx.conf:
    
    location /basic_status {
        stub_status;
        access_log  off;
        allow 127.0.0.1;
        deny all;
    }

启动

通过运行启动守护程序 
#sudo ./metricbeat -e -c metricbeat.yml

#./metricbeat -e 
或者
#service metricbeat  start

2、Metricbeatt 监控 apache 情况

/etc/metricbeat/metricbeat.yml文件的内容：

metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression
setup.dashboards.enabled: true
setup.kibana:
  host: "192.168.4.10:5601"
output.elasticsearch:
  hosts: ["192.168.4.10:9200"]
  protocol: "http"
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

/etc/metricbeat/modules.d/apache.yml的内容：

- module: apache
  metricsets:
    - status
  period: 60s
  hosts: ["http://127.0.0.1:40081"]
  #username: "user"
  #password: "secret"

127.0.0.1:40081端口已处于监听状态。

执行metricbeat setup --dashboards命令以后，/var/log/metricbeat/metricbeat文件的内容：

2019-09-16T19:05:26.009+0800    INFO    instance/beat.go:606    Home path: [/usr/share/metricbeat] Config path: [/etc/metricbeat] Data path: [/var/lib/metricbeat] Logs path: [/var/log/metricbeat]
2019-09-16T19:05:26.083+0800    INFO    instance/beat.go:614    Beat ID: a56ef1d2-544a-490c-b5a1-8c0939b3420d
2019-09-16T19:05:26.086+0800    INFO    [beat]  instance/beat.go:902    Beat info       {"system_info": {"beat": {"path": {"config": "/etc/metricbeat", "data": "/var/lib/metricbeat", "home": "/usr/share/metricbeat", "logs": "/var/log/metricbeat"}, "type": "metricbeat", "uuid": "a56ef1d2-544a-490c-b5a1-8c0939b3420d"}}}
2019-09-16T19:05:26.086+0800    INFO    [beat]  instance/beat.go:911    Build info      {"system_info": {"build": {"commit": "9ba65d864ca37cd32c25b980dbb4020975288fc0", "libbeat": "7.2.0", "time": "2019-06-20T15:07:31.000Z", "version": "7.2.0"}}}
2019-09-16T19:05:26.086+0800    INFO    [beat]  instance/beat.go:914    Go runtime info {"system_info": {"go": {"os":"linux","arch":"amd64","max_procs":16,"version":"go1.12.4"}}}
2019-09-16T19:05:26.089+0800    INFO    [beat]  instance/beat.go:918    Host info       {"system_info": {"host": {"architecture":"x86_64","boot_time":"2019-08-25T12:14:48+08:00","containerized":false,"name":"br-sh-conf-1","ip":["127.0.0.1/8","::1/128","192.168.100.7/24","fe80::6e92:bfff:fe6e:1a44/64","192.168.4.7/24","fe80::6e92:bfff:fe6e:1a46/64","172.17.0.1/16"],"kernel_version":"3.10.0-327.el7.x86_64","mac":["6c:92:bf:6e:1a:44","6c:92:bf:6e:1a:44","6c:92:bf:6e:1a:46","6c:92:bf:6e:1a:46","6c:92:bf:6e:1a:44","6c:92:bf:6e:1a:46","02:42:09:bb:29:91"],"os":{"family":"redhat","platform":"centos","name":"CentOS Linux","version":"7 (Core)","major":7,"minor":2,"patch":1511,"codename":"Core"},"timezone":"CST","timezone_offset_sec":28800,"id":"a7517b58fad846fe931d3d147a2cadbe"}}}
2019-09-16T19:05:26.090+0800    INFO    [beat]  instance/beat.go:947    Process info    {"system_info": {"process": {"capabilities": {"inheritable":null,"permitted":["chown","dac_override","dac_read_search","fowner","fsetid","kill","setgid","setuid","setpcap","linux_immutable","net_bind_service","net_broadcast","net_admin","net_raw","ipc_lock","ipc_owner","sys_module","sys_rawio","sys_chroot","sys_ptrace","sys_pacct","sys_admin","sys_boot","sys_nice","sys_resource","sys_time","sys_tty_config","mknod","lease","audit_write","audit_control","setfcap","mac_override","mac_admin","syslog","wake_alarm","block_suspend"],"effective":["chown","dac_override","dac_read_search","fowner","fsetid","kill","setgid","setuid","setpcap","linux_immutable","net_bind_service","net_broadcast","net_admin","net_raw","ipc_lock","ipc_owner","sys_module","sys_rawio","sys_chroot","sys_ptrace","sys_pacct","sys_admin","sys_boot","sys_nice","sys_resource","sys_time","sys_tty_config","mknod","lease","audit_write","audit_control","setfcap","mac_override","mac_admin","syslog","wake_alarm","block_suspend"],"bounding":["chown","dac_override","dac_read_search","fowner","fsetid","kill","setgid","setuid","setpcap","linux_immutable","net_bind_service","net_broadcast","net_admin","net_raw","ipc_lock","ipc_owner","sys_module","sys_rawio","sys_chroot","sys_ptrace","sys_pacct","sys_admin","sys_boot","sys_nice","sys_resource","sys_time","sys_tty_config","mknod","lease","audit_write","audit_control","setfcap","mac_override","mac_admin","syslog","wake_alarm","block_suspend"],"ambient":null}, "cwd": "/home/sysadm", "exe": "/usr/share/metricbeat/bin/metricbeat", "name": "metricbeat", "pid": 14475, "ppid": 14474, "seccomp": {"mode":"disabled"}, "start_time": "2019-09-16T19:05:25.240+0800"}}}
2019-09-16T19:05:26.090+0800    INFO    instance/beat.go:292    Setup Beat: metricbeat; Version: 7.2.0
2019-09-16T19:05:26.090+0800    INFO    [index-management]      idxmgmt/std.go:178      Set output.elasticsearch.index to 'metricbeat-7.2.0' as ILM is enabled.
2019-09-16T19:05:26.090+0800    INFO    elasticsearch/client.go:166     Elasticsearch url: http://192.168.4.10:9200
2019-09-16T19:05:26.091+0800    INFO    [publisher]     pipeline/module.go:97   Beat name: br-sh-conf-1
2019-09-16T19:05:26.091+0800    INFO    kibana/client.go:118    Kibana url: http://192.168.4.10:5601
2019-09-16T19:05:26.458+0800    INFO    kibana/client.go:118    Kibana url: http://192.168.4.10:5601
2019-09-16T19:05:29.086+0800    INFO    add_cloud_metadata/add_cloud_metadata.go:347    add_cloud_metadata: hosting provider type not detected.
2019-09-16T19:06:00.328+0800    INFO    instance/beat.go:776    Kibana dashboards successfully loaded.

Kibana的dashboard里显示异常，/usr/share/metricbeat/kibana/7/dashboard/Metricbeat-apache-overview.json文件的内容，的确有很多是null或者为空。
在这里插入图片描述

3、metricbeat6监控mysql并显示在Kibana dashboard中

配置mysql username/password/host ip, 并去掉disabled
vi modules.d/mysql.yml.disabled

# ./metricbeat setup --dashboards   装入kibana dashboards

# ./metricbeat -e -c metricbeat.yml -d "publish"

开始生成数据， 自动填充metricbeat-带日期的index

4、Kibana6.x apache dashboard模板

地址 ： https://github.com/zallan114/elasticon_tour16_demo
https://github.com/zallan114/elasticon_tour16_demo
完成三个数据集的设置-“地震数据”，“ apache日志”和“日志搜索”。
下载并安装Elasticsearch，Kibana和Logstash以及X-Pack：https：//www.elastic.co/start

弹性堆栈设置

  • 下载并安装Elasticsearch，Kibana和Logstash以及X-Pack：https：//www.elastic.co/start
  • 此设置已通过5.0.x和5.1.x测试

常规设置

  • 从此仓库下载所有文件：https : //github.com/tbragin/elasticon_tour16_demo
  • 将所有文件放在Logstash目录中。
    地震数据
  • 使用以下命令提取数据集存档 tar zxf ncedc-earthquakes-dataset.tar.gz
  • ncedc-earthquakes-logstash.conf使用以下命令使用Elasticsearch URL和凭证进行修改： cat
    earthquakes.txt| bin/logstash -f ncedc-earthquakes-logstash.conf
  • 在Kibana中，创建 ncedc-earthquakes索引模式
  • 在Timelion中，创建一个新的仪表板并添加这三个可视化对象
  • 使用“过去20年”时间范围保存仪表板
.es(index=ncedc-earthquakes,metric=avg:depth).points(fill=5).color(#8cd98c).label('Depth - raw').yaxis(label="Depth"),.es(index=ncedc-earthquakes,metric=avg:depth).lines().movingaverage(52).label('Depth - moving avg').yaxis(label="Depth").color(#257425 ), .es(index=ncedc-earthquakes,metric=avg:mag).points(fill=5).label('Magnitude - raw').yaxis(2, label="Magnitude").color(#ff6666), .es(index=ncedc-earthquakes,metric=avg:mag).lines().movingaverage(52).label('Magnitude - moving avg').yaxis(2, label="Magnitude").color(#b30000 )

.es(index=ncedc-earthquakes,metric=avg:mag).points(fill=5).label('raw').yaxis(2, label="Magnitude").color(#ffa3a3), .es(index=ncedc-earthquakes,metric=avg:mag).lines().movingaverage(52).label('5 year moving avg').yaxis(2, label="Magnitude").color(#b30000 ), .es(index=ncedc-earthquakes,metric=avg:mag).lines().movingaverage(10).label('1 year moving avg').yaxis(2, label="Magnitude").color(#ff3333)

.es(index=ncedc-earthquakes,metric=avg:depth).points(fill=5).color(#a3e0a3).label('raw').yaxis(label="Depth"),.es(index=ncedc-earthquakes,metric=avg:depth).lines().movingaverage(52).label('5 year moving avg').yaxis(label="Depth").color(#257425 ), .es(index=ncedc-earthquakes,metric=avg:depth).lines().movingaverage(10).label('1 year moving avg').yaxis(label="Depth").color(#00b359)

Apache日志

  • 使用以下命令使用Elasticsearch URL和凭证修改apache_logstash.conf： cat apache_logs|
    bin/logstash -f apache_logstash.conf
  • 在Kibana中创建apache_elk_example索引模式
  • 从您下载的JSON文件上传可视化效果和仪表板
  • 在适当的时间范围内保存仪表板
    日志搜索
  • 使用以下命令，使用Elasticsearch URL和凭证修改logs_small.conf： cat logs_small |
    bin/logstash -f logs_small.conf
  • 在Kibana中创建logstash-*索引模式
  • 使用*命名为“日志搜索”的搜索保存

在这里插入图片描述

5、监控（mongodb）

MongoDB metrics是metrics的一个插件，也可以说是一个基础设施。

ls /etc/metricbeat/modules.d/

很多未启用的yml文件,把MongoDB的yml文件启用。

cp /etc/metricbeat/modules.d/mongodb.yml.disabled /etc/metricbeat/modules.d/mongodb.yml

修改mongodb.yml

vim /etc/metricbeat/modules.d/mongodb.yml
sudo service metricbeat stop

启动metricbeat

sudo metricbeat setup
sudo service metricbeat start

现在面板里的mongodb监控就可以用了。

同样，配置mysql，redis等。
https://blog.csdn.net/weixin_30587927/article/details/96440352?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

Beats：使用Elastic Stack监控RabbitMQ

https://blog.csdn.net/UbuntuTouch/article/details/104539214

Metricbeat-监测mysql内部指标

使用Metricbeat 模块mysql，可以直接从 MySQL 服务器提取内部指标。通过kibana面板的引导直接下载配置就可，但是如果要监测insert/update语句的数量还需要修改mysql.yml文件。
编辑配置

vim /etc/metricbeat/metricbeat.yml

output.elasticsearch:
  hosts: ["localhost:8090"]
setup.kibana:
  host: "<localhost:8080>"  

** 修改过默认端口

启用和配置 mysql 模块

（修改相关配置）
vim  /etc/metricbeat/modules.d/mysql.yml    

		 hosts: ["tcp(172.16.90.180:3306)/"]
		 
		  # Username of hosts. Empty by default.
		  username: root
		 
		  # Password of hosts. Empty by default.
		  password: secret
		  
#sudo metricbeat modules enable mysql

启动 Metricbeat

sudo metricbeat setup
sudo service metricbeat start

ELK收集mysql_slow.log

https://blog.csdn.net/weixin_34010566/article/details/86473132?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

ELK技术用于收集分析缓存数据库Redis的数据

https://blog.csdn.net/Ezra1991/article/details/89069464?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

常见问题 ：

启动报错 ：

 Error importing directory /usr/local/metricbeat-6.2.3-linux-x86_64/kibana: Failed to import index-pattern: Failed to load directory /usr/local/metricbeat-6.2.3-linux-x86_64/kibana/6/index-pattern:
  error loading /usr/local/metricbeat-6.2.3-linux-x86_64/kibana/6/index-pattern/metricbeat.json: fail to execute the HTTP POST request: Post http://192.168.137.135:5601/api/kibana/dashboards/import?force=true: net/http: request canceled (Client.Timeout exceeded while awaiting headers). Response: 
Exiting: Error importing Kibana dashboards: fail to import the dashboards in Kibana: Error importing directory /usr/local/metricbeat-6.2.3-linux-x86_64/kibana: Failed to import index-pattern: Failed to load directory /usr/local/metricbeat-6.2.3-linux-x86_64/kibana/6/index-pattern:
  error loading /usr/local/metricbeat-6.2.3-linux-x86_64/kibana/6/index-pattern/metricbeat.json: fail to execute the HTTP POST request: Post http://192.168.137.135:5601/api/kibana/dashboards/import?force=true: net/http: request canceled (Client.Timeout exceeded while awaiting headers). Response:

在这里插入图片描述
在这里插入图片描述

扩展

Kibana4.5安装方式：

 ./bin/kibana plugin -i elastic/timelion

Kibana5安装方式

./bin/kibana-plugin install timelion

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.8.7-linux-x86_64.tar.gz
tar xzvf metricbeat-6.8.7-linux-x86_64.tar.gz

参考链接 ：
Metricbeat添加ip address信息 : https://blog.csdn.net/gui66497/article/details/93886524?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

官方 ： https://github.com/zallan114/elasticon_tour16_demo
如何用metricbeat6监控mysql并显示在Kibana dashboard中 : https://www.jianshu.com/p/77314bdd1a74?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation
ELK日志处理之metricbeat服务器性能监控 : https://blog.csdn.net/napoay/article/details/79233547?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

ELK日志处理之metricbeat服务器性能监控 ： https://blog.csdn.net/napoay/article/details/79233547?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

Metricbeat安装及使用 ： https://blog.csdn.net/dwyane__wade/article/details/80190683

Kibana 用户指南（Timelion入门） ： https://segmentfault.com/a/1190000016679290

Timelion的if-then-else : https://blog.csdn.net/ai23336/article/details/101628408?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
kibana4中安装 timelion 插件与基本语法 ： https://blog.csdn.net/bsh_csn/article/details/54341085?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

Kibana深入-Timelion画图实现系统监控 ： https://www.driverzeng.com/zenglaoshi/1188.html
kibana的 timelion工具 ： https://www.cnblogs.com/xiaobaozi-95/p/9328389.html

metricbeat实现容器监控 ： https://blog.csdn.net/Tech_Salon/article/details/66969521?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

下载安装Metricbeat以及结合Kibana数据可视化
DreamsArchitects的博客
11-04 608
文章目录下载安装启动 下载安装 官网下载：metricbeat官网下载 百度网盘：metricbeat-7.8.0-linux-x86_64.tar.gz 密码: 1fl5 当前版本是7.9.3 如果你想下载之前的版本，可以点击下边这个连接。 使用tar -zxvf命令解压。 Metricbeat的配置文件存储在metricbeat.yml文件中，配置es的地址。 启动 ./metricbeat modules list # 看默认enabled只有system一个，如果需要监听其他的服务，需要启动
ELK(十)ELK其他组件FileBeat MetricBeat Kibana Logstash
weixin_43744059的博客
10-12 301
1. Nginx日志分析系统 1.1 项目需求   Nginx是一款非常优秀的Web服务器, 往往Nginx服务会作为项目的访问入口, 那么, Nginx的性能保障就变得非常重要了, 如果Nginx的运行出现了问题就会对项目有较大的影响, 所以, 我们需要对Nginx的运行有监控措施, 实时掌握Nginx的运行情况, 那就需要手机Nginx的运行指标和分析Nginx 的运行日志了 1.2 业务流程 2. 部署安装Nginx tar -xvf nginx-1.11.6.tar.gz yum -y insta
集群 (二) kibana + metricbeat 7.14.0
_yuki_
09-23 415
环境： jetson nx jetpack 4.4 ubuntu 18.04 Elasticsearch 7.14.0 一、服务器 IP 主机配置 ElasticSearch版本 192.168.11.67 tx2 7.14.0 192.168.8.46 tx2 7.14.0 二、Kibana 下载：地址 三、解压与配置 修改 config/kibana.yml # 响应端口 server.port: 5601 # 表示接受来
深入理解 Kibana 配置文件：一份详尽的指南
最新发布
一起coding，一起嗨。
08-14 1598
深入理解 Kibana 配置文件：一份详尽的指南
ELK下kibana安装Metricbeat工具_kibana metricbeat
2401_84715732的博客
05-15 537
将 Metricbeat 部署到您所有的 Linux、Windows 和 Mac 主机，Metricbeat可以定期收集操作系统和服务器的运行指标（CPU，内存，硬盘，IO,读写速度，进程等等），线程数等机器物理性能，类似于Windows的资源管理器功能。Metricbeat可以将收集到的指标和数据发送到你指定的输出，比如：elasticsearch，最终达成监视服务器的目标。时序控件（Timelion）是一款时间序列数据可视化工具，它可以将多种独立的数据源合并呈现到一张视图上。
kibana 7.5.1 + metricbeat 7.5.1实现主机和kafka应用指标监控
liaomingwu的专栏
03-07 1225
kibana 7.5.1 + metricbeat 7.5.1实现主机和kafka应用指标监控
Elasticsearch+Kibana+Metricbeat 系统资源监控与可视化实战
qq_29706435的博客
10-23 2677
前言 当运行环境机器数量众多，要进行资源监控，一个集中、统一的监管平台是十分必要的。恰好ElasticSearch+Kibana+Metricbeat可以提供类似的解决方案，并且由于它的灵活性与开放性，使得能够对其进行二次开发以满足实际需求。不仅可以帮助探索海量结构化、非结构化数据，按需创建可视化报表，对监控数据设置报警阈值，甚至通过使用机器学习技术，自动识别异常状况。 那么，在具体部署这样一套平台之前，我们需要对该方案的核心技术有一个初步了解。 因此，一定就有三问资源监控： 1.三问资源...
metricbeat-6.2.2-linux-x86_64下载
12-24
Metricbeat是 Elastic Stack 的一个重要组件，它属于 ELK（Elasticsearch、Logstash、Kibana）生态体系，但随着Elastic的发展，现在通常被称为Elastic Stack，其中包括Elasticsearch、Kibana、 Beats 和 Logstash。...
metricbeat-6.3.1-linux-x86_64.tar.gz
06-04
Metricbeat是一款强大的开源工具，它属于Elastic Stack（又称ELK Stack，包括Elasticsearch、Logstash、Kibana和Beats）的一部分，专为收集各种系统的度量数据而设计。在本篇文章中，我们将深入探讨Metricbeat 6.3.1...
企业运维实战 ELK日志分析平台 Kinaba （Kibana安装、Kinaba安全认证、Kinaba监测）
Puuwuuchao的博客
08-31 432
kibana数据可视化启用xpack安全验证 下载地址：https://elasticsearch.cn/download/\ kibana安装 rpm -ivh kibana-7.6.1-x86_64.rpm kibana配置 vim /etc/kibana/kibana.yml 2 server.port: 5601 7 server.host: "172.25.21.4" 28 elasticsearch.hosts: ["http://172.25.21.1:9200"] 37 kibana.i
metricbeat-6.1.1-linux-arm_64.zip
11-05
Metricbeat是 Elastic Stack（也称为ELK Stack，包括Elasticsearch、Logstash、Kibana以及 Beats）中的一个组件，它是一个轻量级的数据收集工具，用于定期从各种服务、系统和应用程序中收集监控数据，然后将这些数据...
metricbeat-7.8.0-linux-x86_64.tar.gz
08-17
metricbeat用来收集诸如系统或者Nginx等服务的指标数据并传输给我们的ELK MetricBeat由两个部分组成：一个是Module，一个是MetricSet
elasticsearch + search-guard + filebeat + metricbeat + logstash + kibana ELK整体安装配置教程
Hillbo的博客
07-03 2280
elasticsearch + search-guard + filebeat + metricbeat + logstash + kibana ELK整体安装配置教程1、前期装备2、filebeat + metricbeat + logstash + elasticsearch + kibana + search-guard安装2.1、elasticsearch + search-guard安装...
ELK下kibana安装Metricbeat工具_kibana metricbeat(1)
2401_84715732的博客
05-15 424
uptime。
metricbeat,elasticsearch以及kibana的初使用
Easy come, easy go.
03-01 4273
资源监控需要用到软件有metricbeat和elasticsearch（本次使用的是当时最新版本6.1.2，目前官网已跟新至6.2.2）一.Elasticsearch的下载安装以及配置1.    elasticsearch下载 首先需要根据主机的环境下载elasticsearch说明：(1).debain和ubuntu 使用的是deb（以下都会使用deb）   (2). redhat，centos...
metricbeat收集elasticsearch、kibana监控数据
qq_43700739的博客
08-16 1583
metricbeat收集elasticsearch、kibana监控数据
ELK日志分析平台-（3）kibana数据可视化、xpack安全验证、metricbeat、控制台
Ma_JunSSR的博客
08-18 684
接着上篇博客的内容，vm1，2，3是es集群，vm4时logstash，本文讲解kibana 1 .kibana简介 Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。 将地理数据融入任何地图 精选的时序性 UI，对您Elasticsearch 中的数据执行高级时间序列分析。 利用 Graph 功能分析数据间的关系 Kibana 开发工具为开发人员提供了多种强大方法来帮助其与 Elastic Stack 进行交互。 总之kibana的功能十分强大，但是也十分消耗内存 2
k8s 部署 metribeat 实现 kibana 可视化 es 多集群监控指标
以梦为马|越骑越傻
07-09 1248
k8s 部署 metribeat 实现 kibana 可视化 es 多集群监控指标
ElasticStack安装配置：Elasticsearch与Kibana实战
- **新加入的角色**: Beats是ElasticStack新增的一系列轻量级日志采集器，包括Packetbeat（网络数据），Metricbeat（性能指标）、Filebeat（文件日志）、Winlogbeat（Windows日志）、Auditbeat（审计数据）等。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寰宇001

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值