关闭

【ELK】如何使用CollectD发送服务器性能计数值到Logstash中

标签: elasticsearchcollectd
502人阅读 评论(0) 收藏 举报


架构原理

  • Collectd 是Liunx系统上数据采集指标(Metircs)的工具集,Collectd : C 语言开发的一个守护(daemon)进程,周期性收集统计数据和存储,拥有丰富的插件包括监控Ceph,DRBD,OpenLDAP,ZK等,利用这些信息有助于查找当前系统的性能瓶颈,作为性能分析报表。在本系统中,计划配置成客户端模式,向UDP端口发送指标数据,由Logstash接受相关UDP数据,写入ElasticSearch。

STEP BY STEP 配置
  • collectd的安装(解决依赖)

    rpm -ivh "http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm"
    yum -y install libcurl libcurl-devel rrdtool rrdtool-devel perl-rrdtool rrdtool-prel libgcrypt-devel 
    gcc make gcc-c++ liboping liboping-devel perl-CPAN net-snmp net-snmp-devel

  • 源码安装collectd

    wget http://collectd.org/files/collectd-5.4.1.tar.gz
    tar zxvf collectd-5.4.1.tar.gz
    cd collectd-5.4.1
    ./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var --libdir=/usr/lib --mandir=/usr/share/man 
    --enable-all-plugins
    make && make install
  • 安装启动脚本

    cp contrib/redhat/init.d-collectd /etc/init.d/collectd
    chmod +x /etc/init.d/collectd

  • 启动collectd

    service collectd start
  • 配置collectd

  • 查看collectd 启动服务 init.d-collectd 文件发现,service启动时,会去加载 /etc/collectd.conf配置文件,修改配置如下,
    以实现对于服务器基本CPU,内存,网卡流量,磁盘IO以及磁盘空间情况的监控:
    Hostname "localhost.localdomain"
    LoadPlugin interface
    LoadPlugin load
    LoadPlugin memory
    LoadPlugin network
    <Plugin interface>
    Interface "eth0"
    IgnoreSelected false
    </Plugin>
    <Plugin network>
    <Server "192.168.1.43""25826"> #logstash的IP地址,以及collectd的数据的接收端口号
    </Server>
    </Plugin>
  • 查看collectd所生产的监控文件(/var/lib/collectd/{hostname})




  • Logstash的配置
       input {
         udp {
            port => 25826         # 25826 matches port specified in collectd.conf
            buffer_size => 1452   # 1452 is the default buffer size for Collectd
            codec => collectd { } # specific Collectd codec to invoke
            type => collectd 
           }
        }
       output{
          elasticsearch {
         host => "192.168.10.230"
         protocol => "http"
         index => "logstash-%{type}-%{+YYYY.MM.dd}"
         index_type =>"%{type}"
         workers => 5
         template_overwrite => true
          }
}
  • ElasticSearch 中的数据展示










0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1802次
    • 积分:66
    • 等级:
    • 排名:千里之外
    • 原创:5篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档