ELK下kibana安装Metricbeat工具

最新推荐文章于 2022-03-10 21:12:06 发布

寰宇001

最新推荐文章于 2022-03-10 21:12:06 发布

阅读量2.6k

点赞数 2

分类专栏： ELK、K8S、虚拟化Docker

本文链接：https://blog.csdn.net/qq_40907977/article/details/104724314

版权

ELK、K8S、虚拟化Docker 专栏收录该内容

92 篇文章 21 订阅

订阅专栏

metricbeat简介

将 Metricbeat 部署到您所有的 Linux、Windows 和 Mac 主机，Metricbeat可以定期收集操作系统和服务器的运行指标（CPU，内存，硬盘，IO,读写速度，进程等等），线程数等机器物理性能，类似于Windows的资源管理器功能。
Metricbeat可以将收集到的指标和数据发送到你指定的输出，比如：elasticsearch，最终达成监视服务器的目标。
时序控件（Timelion）是一款时间序列数据可视化工具，它可以将多种独立的数据源合并呈现到一张视图上。
使用Elastic公司的Metricbeat，Metricbeat和Filebeat一样，是一个轻量级的采集器，不但可以监控服务器的性能指标，还可以监控运行在服务区之上的应用信息(eg.Apache、MongoDB、MySQL、Ngnix、PostgreSQL、Redis、Zookeeper、System)。
Metricbeat 提供多种内部模块，用于从服务中收集指标。安装简单，完全零依赖性。只需在配置文件中启用所需的模块即可，可谓是按需使用。

实验的机器环境如下：
操作系统：Ubuntu 16.04
ELK版本：6.2.3
下载metricbeat

#wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.2.3-linux-x86_64.tar.gz
#解压
#tar xzvf metricbeat-6.2.3-linux-x86_64.tar.gz

或者

#curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.2.3-x86_64.rpm
#sudo rpm -vi metricbeat-6.2.3-x86_64.rpm

windows下安装

PS > cd 'C:\Program Files\Metricbeat'
PS C:\Program Files\Metricbeat> .\install-service-metricbeat.ps1

配置dashboard
修改metricbeat-6.1.2-linux-x86_64目录下的metricbeat.yml,该文件为metricbeat的配置文件。

etricbeat.modules:
- module: system
  period: 10s
  metricsets:
    - cpu
    - load
    - memory
    - network
    - process
    - process_summary
    #- core
    #- diskio
    #- socket
  processes: ['.*']
  process.include_top_n:
    by_cpu: 5      # include top 5 processes by CPU
    by_memory: 5   # include top 5 processes by memory
- module: system
  period: 1m
  metricsets:
    - filesystem
    - fsstat
  processors:
  - drop_event.when.regexp:
      system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib)($|/)'
- module: system
  period: 15m
  metricsets:
    - uptime

# 直接发送elasticsearch
output.elasticsearch:
  hosts: ["172.30.1.45:9200"]

# 要加载仪表板，可以在metricbeat设置中启用仪表板加载。当仪表板加载被启用时，Metricbeat使用Kibana API来加载样本仪表板。只有当Metricbeat启动时，才会尝试仪表板加载。
# 设置kibana服务地址
setup.kibana.host: "172.30.1.45:5601"
# 加载默认的仪表盘样式
setup.dashboards.enabled: true
# 设置如果存在模板，则不覆盖原有模板
setup.template.overwrite: false

或者
找到Dashboards,找到下面这行：

#setup.dashboards.enabled: false

去掉注释并把参数改为true：

setup.dashboards.enabled: true

在这里插入图片描述
配置kibana
找到kibana部分，把host注释去除，修改为kibana的ip+端口。

# 要加载仪表板，可以在metricbeat设置中启用仪表板加载。当仪表板加载被启用时，Metricbeat使用Kibana API来加载样本仪表板。只有当Metricbeat启动时，才会尝试仪表板加载。
setup.kibana:
　　host: "localhost:5601"
# 加载默认的仪表盘样式
setup.dashboards.enabled: true

在这里插入图片描述
配置elasticsearch
找到elasticsearch部分，把host注释去除，修改为elasticsearch的ip+端口。

#hosts: ["localhost:9200"]
改成
hosts: ["0.0.0.0:9200"]

在这里插入图片描述

启动
导入kibana模块
切换到metricbeat根目录，执行启动命令：

#./metricbeat modules enable kibana   #centos用法

#./metricbeat -e -c metricbeat.yml -d "publish"    #ubuntu用法

在这里插入图片描述
配置模块生效
后台启动服务（前提是es和kibana已经启动）

./metricbeat -e &

检查metricbeat是否正常运行：curl -XGET ‘http://172.30.1.45:9200/metricbeat-*/_search?pretty’（返回索引对应内容）
显示输出

浏览器中访问http://172.30.1.45:5601/ 
在discover项选择metricbeat-*查看metric的数据； 
在dashboard项点击open选择要查看的数据，如: 查看Metricbeat-memory：

metricbeat模块的配置
查看metricbeat开启了哪些模块（跟filebeat一个套路）

#su - elk
#cd /home/elk/metricbeat/metricbeat-7.5.1-linux-x86_64
#./metricbeat modules lis

在这里插入图片描述
https://blog.csdn.net/xoofly/article/details/103812271?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

结果

打开kibana的dashboard，查看结果。timelion部署成功
在这里插入图片描述

注意：如果只是最上面各种率没有图，下面cpu什么的有图，但是最前面是没数值的，可能是终端的时间与服务器时间不匹配，稍早一点儿造成的。

metricbeat模板字段自己设置

1.metricbeat 字段模板定义在fields.yml

在metricbeat.yml文件中添加，字段模板定义

setup.template.fields: fields.yml

备份一份fields.yml, 现在可以修改fields.yml,删除一些不需要用到的，如redis 等。

开始安装使用的时候，报如下错误，在各type：ip都在- key: ecs 下面定义，我们可以把type： ip改为type：keyword试试。
在这里插入图片描述
删除里面的冗余的字段，如果不删除一下，在elasticsearch里面会创建2300多个字段，删除一些没用到的，可以精简。

把type: ip 修改或者删除这个类型的字段后，在使用Canvas中就没有报以上的错误了。

更多的Canvas 使用，需要根据自己的业务场景设置。更多的还有一些element的使用，需要多熟悉，才能得心应手。

Metricbeat添加ip address信息

Metricbeat默认输出信息里没有ip地址，6.3版本之后可以通过add_host_metadata 来开启附带ip信息（没测试过）

原本我是通过修改modules.d/system.yml文件，在每项后面加自定义fields.ip字段来添加ip信息，类似下面这样：

- module: system
  period: 15m
  metricsets:
    - uptime
  fields:
    ip: "192.168.1.188"

现在更好的办法是修改metricbeat.yml文件，通过加一行name: 192.168.1.30来实现，这样数据中的beat.name就会随之改变
在这里插入图片描述

注意： 需要下载Metricbeat，以及下载对应的kibana版本。
es函数

1、index 指明索引    .es(index=nginx-access-log-*
2、q    q查询
3、timefield  指定时间轴采用的字段，默认@timestamp   timefield=@timestamp
4、metric  指明展示指标，默认是个数。metric aggregation：avg,sum,min,max,cardinality。后面接字段名，例"sum:bytes"
5、split  按照某字段分组数据
6、offset 设置时间偏移值，比如-1d -1h offset=-1d

自定义和格式化可视化

.title(title="qps") 标题 .title('v.ubox.cn-QPS')
.label("yesterday") 标签
.lines($width,$fill,$show,$steps) 折线图    fill填充，width线宽  .lines(fill=1,width=0.5)
.bars($width) 柱状图
.points() 散点图
.color() 颜色 .color(#1E90FF) .color(red)
.legend($position,$column) 设置图例的位置和样式 .legend(columns=2, position=nw)
.static(value=1024, label="1k", offset="-1d", fit="scale")   绘制一个固定值
.value y轴值

举例子：
es(index=nginx-access-log-*,timefield=@timestamp,q=source:/logs/access.log,metric=sum:bytes).divide(1048576).label(‘流量曲线图’).lines(width=1.5)

两条曲线对比：
.es(index=nginx-access-log-,timefield=@timestamp,q=source:/logs/access.log,metric=sum:bytes).divide(1048576).label(today).title(‘流量对比图(MB/s)’).lines(width=1.5),.es(offset=-1d,index=nginx-access-log-,timefield=@timestamp,q=/logs/access.log,metric=sum:bytes).divide(1048576).label(yesterday).lines(width=1.5).multiply(-1)
在这里插入图片描述
可以在一个图中画多条曲线，使用逗号分隔 offset时间偏移量 -1d 前一天的 multiply(-1)显示在y轴负半轴。

Timelion的if-then-else

oh，Timelion条件，我们几乎不认识你。用时间来解决问题。前段时间，Timelion安静的介绍了.condition()函数，是一个超强的能力。此外，这篇文章的标题是一个完整的谎言，我有多种方式可以调用.condition()。另外一个是.if()。它的作用和.condition()完全相同，但是它更短，所以从这里开始我们使用.if()。

.if()允许我们基于点对比来改变点。它支持小于(lt)，小于等于（lte），等于（eq），大于(gt)和大于等于（gte）和点与其它数值进行比较，或其它序列相同点进行比较。
开始使用其中的三个参数。

operator 从lt,lte,eq,gt,gte中选择一个。您可能会注意到这些与elasticsearch用于范围查询的缩写相同。
if 您将使用您指定的运算符将原始系列中的每个点与该值进行比较。
then 如果条件匹配，则将该点设置为此值
　　在以下屏幕截图中，绿线将始终是我们的原值，我们将为我们的修改系列使用其他颜色。让我们将每个小于500的点都设置0。

.es().if(lt,500,null)

在这里插入图片描述
那很简单。我们如何设置每一个超过或大于500的为1000，有效使用二进制序列，1000表示点大于等于500和0表示小于500。我们可以这样串联两个.if（）调用。

.es().if(lt, 500, null).if(gte, 500, 1000)

但是等等，我们可以使用第四个参数将其缩短到.if（）。第四个参数是else，如果条件不匹配，它将该点设置为一个值。所以试试这个

 .es().if(lt, 500, 0, 1000)

在这里插入图片描述
　Cool！这些是基础知识，但是.if()可以超过静态数值比较。阅读on brave soul（在勇敢的灵魂）。

Dynamic? Dynamite!

到目前为止，我们已将点数与静态数字进行了比较。如果我们想比较我们的系列与另一个系列怎么办？例如，当系列超过其10点移动平均线时，绘制点为0，否则不显示。下面你会看到我们将.es（）.mvavg（10）作为if参数传递。这将对移动平均线和原始的.es（）系列进行点对点比较。我们前提的另一部分，没有显示，可以通过将null传递给else来实现。

.es().if(gt, .es().mvavg(10), 0, null).points()

在这里插入图片描述
　　是的，没关系，但是我们也可以通过一个系列的then做得更好。我们可以传回原来的系列，并绘制一些竖条，通过使用.bars（）而不是.points（）来指出系列超过移动平均线的地点。

.es().if(gt, .es().mvavg(10), .es(), null).bars(3)

在这里插入图片描述

Altogether now

现在我们采用我们新发现知识，并使用它来获得喜好，就像绘制一个阴影线，绿色的地方，我们超过平均值，红色，小于平均值。

.es().if(gt, .es().mvavg(10), .es(), null).bars(3).color(#BEDB39).label(over), .es().if(lte, .es().mvavg(10), .es(), null).bars(3).color(#c66).label(under)

在这里插入图片描述
　　好，非常好。还在想这个Timelion的所有业务是什么？阅读教程，还需要更多？看看这个视频从Elastic paris聚会并且我会带你一丝不苟的阅读。此外，您可以在尝试用另一方面时，用麦克风看着我。

1、metricbeat 监控 nginx 情况

配置文件

Metricbeat:
#metricbeat  modules enable nginx
nginx.yml
- module: nginx
  metricsets: ["stubstatus"]
  period: 10s

  # Nginx hosts
  hosts: ["http://127.0.0.1"]

  # Path to server status. Default server-status
  server_status_path: "basic_status" #According to the situation，and depending
  
Nginx: (nginx need to compile install)
requried module: --with-http_stub_status_module
    
nginx.conf:
    
    location /basic_status {
        stub_status;
        access_log  off;
        allow 127.0.0.1;
        deny all;
    }

启动

通过运行启动守护程序 
#sudo ./metricbeat -e -c metricbeat.yml

#./metricbeat -e 
或者
#service metricbeat  start

2、Metricbeatt 监控 apache 情况

/etc/metricbeat/metricbeat.yml文件的内容：

metricbeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression
setup.dashboards.enabled: true
setup.kibana:
  host: "192.168.4.10:5601"
output.elasticsearch:
  hosts: ["192.168.4.10:9200"]
  protocol: "http"
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

/etc/metricbeat/modules.d/apache.yml的内容：

- module: apache
  metricsets:
    - status
  period: 60s
  hosts: ["http://127.0.0.1:40081&quot;]
  #username: "user"
  #password: "secret"

127.0.0.1:40081端口已处于监听状态。

执行metricbeat setup --dashboards命令以后，/var/log/metricbeat/metricbeat文件的内容：

2019-09-16T19:05:26.009+0800    INFO    instance/beat.go:606    Home path: [/usr/share/metricbeat] Config path: [/etc/metricbeat] Data path: [/var/lib/metricbeat] Logs path: [/var/log/metricbeat]
2019-09-16T19:05:26.083+0800    INFO    instance/beat.go:614    Beat ID: a56ef1d2-544a-490c-b5a1-8c0939b3420d
2019-09-16T19:05:26.086+0800    INFO    [beat]  instance/beat.go:902    Beat info       {"system_info": {"beat": {"path": {"config": "/etc/metricbeat", "data": "/var/lib/metricbeat", "home": "/usr/share/metricbeat", "logs": "/var/log/metricbeat"}, "type": "metricbeat", "uuid": "a56ef1d2-544a-490c-b5a1-8c0939b3420d"}}}
2019-09-16T19:05:26.086+0800    INFO    [beat]  instance/beat.go:911    Build info      {"system_info": {"build": {"commit": "9ba65d864ca37cd32c25b980dbb4020975288fc0", "libbeat": "7.2.0", "time": "2019-06-20T15:07:31.000Z", "version": "7.2.0"}}}
2019-09-16T19:05:26.086+0800    INFO    [beat]  instance/beat.go:914    Go runtime info {"system_info": {"go": {"os":"linux","arch":"amd64","max_procs":16,"version":"go1.12.4"}}}
2019-09-16T19:05:26.089+0800    INFO    [beat]  instance/beat.go:918    Host info       {"system_info": {"host": {"architecture":"x86_64","boot_time":"2019-08-25T12:14:48+08:00","containerized":false,"name":"br-sh-conf-1","ip":["127.0.0.1/8","::1/128","192.168.100.7/24","fe80::6e92:bfff:fe6e:1a44/64","192.168.4.7/24","fe80::6e92:bfff:fe6e:1a46/64","172.17.0.1/16"],"kernel_version":"3.10.0-327.el7.x86_64","mac":["6c:92:bf:6e:1a:44","6c:92:bf:6e:1a:44","6c:92:bf:6e:1a:46","6c:92:bf:6e:1a:46","6c:92:bf:6e:1a:44","6c:92:bf:6e:1a:46","02:42:09:bb:29:91"],"os":{"family":"redhat","platform":"centos","name":"CentOS Linux","version":"7 (Core)","major":7,"minor":2,"patch":1511,"codename":"Core"},"timezone":"CST","timezone_offset_sec":28800,"id":"a7517b58fad846fe931d3d147a2cadbe"}}}
2019-09-16T19:05:26.090+0800    INFO    [beat]  instance/beat.go:947    Process info    {"system_info": {"process": {"capabilities": {"inheritable":null,"permitted":["chown","dac_override","dac_read_search","fowner","fsetid","kill","setgid","setuid","setpcap","linux_immutable","net_bind_service","net_broadcast","net_admin","net_raw","ipc_lock","ipc_owner","sys_module","sys_rawio","sys_chroot","sys_ptrace","sys_pacct","sys_admin","sys_boot","sys_nice","sys_resource","sys_time","sys_tty_config","mknod","lease","audit_write","audit_control","setfcap","mac_override","mac_admin","syslog","wake_alarm","block_suspend"],"effective":["chown","dac_override","dac_read_search","fowner","fsetid","kill","setgid","setuid","setpcap","linux_immutable","net_bind_service","net_broadcast","net_admin","net_raw","ipc_lock","ipc_owner","sys_module","sys_rawio","sys_chroot","sys_ptrace","sys_pacct","sys_admin","sys_boot","sys_nice","sys_resource","sys_time","sys_tty_config","mknod","lease","audit_write","audit_control","setfcap","mac_override","mac_admin","syslog","wake_alarm","block_suspend"],"bounding":["chown","dac_override","dac_read_search","fowner","fsetid","kill","setgid","setuid","setpcap","linux_immutable","net_bind_service","net_broadcast","net_admin","net_raw","ipc_lock","ipc_owner","sys_module","sys_rawio","sys_chroot","sys_ptrace","sys_pacct","sys_admin","sys_boot","sys_nice","sys_resource","sys_time","sys_tty_config","mknod","lease","audit_write","audit_control","setfcap","mac_override","mac_admin","syslog","wake_alarm","block_suspend"],"ambient":null}, "cwd": "/home/sysadm", "exe": "/usr/share/metricbeat/bin/metricbeat", "name": "metricbeat", "pid": 14475, "ppid": 14474, "seccomp": {"mode":"disabled"}, "start_time": "2019-09-16T19:05:25.240+0800"}}}
2019-09-16T19:05:26.090+0800    INFO    instance/beat.go:292    Setup Beat: metricbeat; Version: 7.2.0
2019-09-16T19:05:26.090+0800    INFO    [index-management]      idxmgmt/std.go:178      Set output.elasticsearch.index to 'metricbeat-7.2.0' as ILM is enabled.
2019-09-16T19:05:26.090+0800    INFO    elasticsearch/client.go:166     Elasticsearch url: http://192.168.4.10:9200
2019-09-16T19:05:26.091+0800    INFO    [publisher]     pipeline/module.go:97   Beat name: br-sh-conf-1
2019-09-16T19:05:26.091+0800    INFO    kibana/client.go:118    Kibana url: http://192.168.4.10:5601
2019-09-16T19:05:26.458+0800    INFO    kibana/client.go:118    Kibana url: http://192.168.4.10:5601
2019-09-16T19:05:29.086+0800    INFO    add_cloud_metadata/add_cloud_metadata.go:347    add_cloud_metadata: hosting provider type not detected.
2019-09-16T19:06:00.328+0800    INFO    instance/beat.go:776    Kibana dashboards successfully loaded.

Kibana的dashboard里显示异常，/usr/share/metricbeat/kibana/7/dashboard/Metricbeat-apache-overview.json文件的内容，的确有很多是null或者为空。
在这里插入图片描述

3、metricbeat6监控mysql并显示在Kibana dashboard中

配置mysql username/password/host ip, 并去掉disabled
vi modules.d/mysql.yml.disabled

# ./metricbeat setup --dashboards   装入kibana dashboards

# ./metricbeat -e -c metricbeat.yml -d "publish"

开始生成数据，自动填充metricbeat-带日期的index

4、Kibana6.x apache dashboard模板

地址： https://github.com/zallan114/elasticon_tour16_demo
https://github.com/zallan114/elasticon_tour16_demo
完成三个数据集的设置-“地震数据”，“ apache日志”和“日志搜索”。
下载并安装Elasticsearch，Kibana和Logstash以及X-Pack：https：//www.elastic.co/start

弹性堆栈设置

下载并安装Elasticsearch，Kibana和Logstash以及X-Pack：https：//www.elastic.co/start
此设置已通过5.0.x和5.1.x测试

常规设置

从此仓库下载所有文件：https : //github.com/tbragin/elasticon_tour16_demo
将所有文件放在Logstash目录中。
地震数据
使用以下命令提取数据集存档 tar zxf ncedc-earthquakes-dataset.tar.gz
ncedc-earthquakes-logstash.conf使用以下命令使用Elasticsearch URL和凭证进行修改： cat
earthquakes.txt| bin/logstash -f ncedc-earthquakes-logstash.conf
在Kibana中，创建 ncedc-earthquakes索引模式
在Timelion中，创建一个新的仪表板并添加这三个可视化对象
使用“过去20年”时间范围保存仪表板

.es(index=ncedc-earthquakes,metric=avg:depth).points(fill=5).color(#8cd98c).label('Depth - raw').yaxis(label="Depth"),.es(index=ncedc-earthquakes,metric=avg:depth).lines().movingaverage(52).label('Depth - moving avg').yaxis(label="Depth").color(#257425 ), .es(index=ncedc-earthquakes,metric=avg:mag).points(fill=5).label('Magnitude - raw').yaxis(2, label="Magnitude").color(#ff6666), .es(index=ncedc-earthquakes,metric=avg:mag).lines().movingaverage(52).label('Magnitude - moving avg').yaxis(2, label="Magnitude").color(#b30000 )

.es(index=ncedc-earthquakes,metric=avg:mag).points(fill=5).label('raw').yaxis(2, label="Magnitude").color(#ffa3a3), .es(index=ncedc-earthquakes,metric=avg:mag).lines().movingaverage(52).label('5 year moving avg').yaxis(2, label="Magnitude").color(#b30000 ), .es(index=ncedc-earthquakes,metric=avg:mag).lines().movingaverage(10).label('1 year moving avg').yaxis(2, label="Magnitude").color(#ff3333)

.es(index=ncedc-earthquakes,metric=avg:depth).points(fill=5).color(#a3e0a3).label('raw').yaxis(label="Depth"),.es(index=ncedc-earthquakes,metric=avg:depth).lines().movingaverage(52).label('5 year moving avg').yaxis(label="Depth").color(#257425 ), .es(index=ncedc-earthquakes,metric=avg:depth).lines().movingaverage(10).label('1 year moving avg').yaxis(label="Depth").color(#00b359)

Apache日志

使用以下命令使用Elasticsearch URL和凭证修改apache_logstash.conf： cat apache_logs|
bin/logstash -f apache_logstash.conf
在Kibana中创建apache_elk_example索引模式
从您下载的JSON文件上传可视化效果和仪表板
在适当的时间范围内保存仪表板
日志搜索
使用以下命令，使用Elasticsearch URL和凭证修改logs_small.conf： cat logs_small |
bin/logstash -f logs_small.conf
在Kibana中创建logstash-*索引模式
使用*命名为“日志搜索”的搜索保存

在这里插入图片描述

5、监控（mongodb）

MongoDB metrics是metrics的一个插件，也可以说是一个基础设施。

ls /etc/metricbeat/modules.d/

很多未启用的yml文件,把MongoDB的yml文件启用。

cp /etc/metricbeat/modules.d/mongodb.yml.disabled /etc/metricbeat/modules.d/mongodb.yml

修改mongodb.yml

vim /etc/metricbeat/modules.d/mongodb.yml
sudo service metricbeat stop

启动metricbeat

sudo metricbeat setup
sudo service metricbeat start

现在面板里的mongodb监控就可以用了。

同样，配置mysql，redis等。
https://blog.csdn.net/weixin_30587927/article/details/96440352?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

Beats：使用Elastic Stack监控RabbitMQ

https://blog.csdn.net/UbuntuTouch/article/details/104539214

Metricbeat-监测mysql内部指标

使用Metricbeat 模块mysql，可以直接从 MySQL 服务器提取内部指标。通过kibana面板的引导直接下载配置就可，但是如果要监测insert/update语句的数量还需要修改mysql.yml文件。
编辑配置

vim /etc/metricbeat/metricbeat.yml

output.elasticsearch:
  hosts: ["localhost:8090"]
setup.kibana:
  host: "<localhost:8080>"  

** 修改过默认端口

启用和配置 mysql 模块

（修改相关配置）
vim  /etc/metricbeat/modules.d/mysql.yml    

		 hosts: ["tcp(172.16.90.180:3306)/"]
		 
		  # Username of hosts. Empty by default.
		  username: root
		 
		  # Password of hosts. Empty by default.
		  password: secret
		  
#sudo metricbeat modules enable mysql

启动 Metricbeat

sudo metricbeat setup
sudo service metricbeat start

ELK收集mysql_slow.log

https://blog.csdn.net/weixin_34010566/article/details/86473132?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

ELK技术用于收集分析缓存数据库Redis的数据

https://blog.csdn.net/Ezra1991/article/details/89069464?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

常见问题：

启动报错：

 Error importing directory /usr/local/metricbeat-6.2.3-linux-x86_64/kibana: Failed to import index-pattern: Failed to load directory /usr/local/metricbeat-6.2.3-linux-x86_64/kibana/6/index-pattern:
  error loading /usr/local/metricbeat-6.2.3-linux-x86_64/kibana/6/index-pattern/metricbeat.json: fail to execute the HTTP POST request: Post http://192.168.137.135:5601/api/kibana/dashboards/import?force=true: net/http: request canceled (Client.Timeout exceeded while awaiting headers). Response: 
Exiting: Error importing Kibana dashboards: fail to import the dashboards in Kibana: Error importing directory /usr/local/metricbeat-6.2.3-linux-x86_64/kibana: Failed to import index-pattern: Failed to load directory /usr/local/metricbeat-6.2.3-linux-x86_64/kibana/6/index-pattern:
  error loading /usr/local/metricbeat-6.2.3-linux-x86_64/kibana/6/index-pattern/metricbeat.json: fail to execute the HTTP POST request: Post http://192.168.137.135:5601/api/kibana/dashboards/import?force=true: net/http: request canceled (Client.Timeout exceeded while awaiting headers). Response:

在这里插入图片描述

扩展

Kibana4.5安装方式：

 ./bin/kibana plugin -i elastic/timelion

Kibana5安装方式

./bin/kibana-plugin install timelion

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.8.7-linux-x86_64.tar.gz
tar xzvf metricbeat-6.8.7-linux-x86_64.tar.gz

参考链接：
Metricbeat添加ip address信息 : https://blog.csdn.net/gui66497/article/details/93886524?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

官方： https://github.com/zallan114/elasticon_tour16_demo
如何用metricbeat6监控mysql并显示在Kibana dashboard中 : https://www.jianshu.com/p/77314bdd1a74?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation
ELK日志处理之metricbeat服务器性能监控 : https://blog.csdn.net/napoay/article/details/79233547?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

ELK日志处理之metricbeat服务器性能监控 ： https://blog.csdn.net/napoay/article/details/79233547?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

Metricbeat安装及使用 ： https://blog.csdn.net/dwyane__wade/article/details/80190683

Kibana 用户指南（Timelion入门） ： https://segmentfault.com/a/1190000016679290

Timelion的if-then-else : https://blog.csdn.net/ai23336/article/details/101628408?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task
kibana4中安装 timelion 插件与基本语法 ： https://blog.csdn.net/bsh_csn/article/details/54341085?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

Kibana深入-Timelion画图实现系统监控： https://www.driverzeng.com/zenglaoshi/1188.html
kibana的 timelion工具： https://www.cnblogs.com/xiaobaozi-95/p/9328389.html

metricbeat实现容器监控 ： https://blog.csdn.net/Tech_Salon/article/details/66969521?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

寰宇001

关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
打赏
1
评论
ELK下kibana安装Metricbeat工具

介绍时序控件（Timelion）是一款时间序列数据可视化工具，它可以将多种独立的数据源合并呈现到一张视图上。es函数1、index 指明索引 .es(index=nginx-access-log-*2、q q查询3、timefield 指定时间轴采用的字段，默认@timestamp timefield=@timestamp4、metric 指明展示指标，默认是个数。...
复制链接

扫一扫