collectd和logstash及snmp 的整合

最新推荐文章于 2024-08-05 18:13:10 发布
最新推荐文章于 2024-08-05 18:13:10 发布
阅读量3.8k 收藏
点赞数
分类专栏： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taizhenba/article/details/51859107
版权
collectd 的安装  

1.rpm -ivh "http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm"
2.解决依赖 yum -y install libcurl libcurl-devel rrdtool rrdtool-devel perl-rrdtool rrdtool-prel libgcrypt-devel gcc make gcc-c++ liboping liboping-devel perl-CPAN net-snmp net-snmp-devel
wget http://collectd.org/files/collectd-5.4.1.tar.gz
tar zxvf collectd-5.4.1.tar.gz
cd collectd-5.4.1
./configure --prefix=/usr --sysconfdir=/etc --localstatedir=/var --libdir=/usr/lib --mandir=/usr/share/man --enable-all-plugins
make && make install
加入到启动项
cp contrib/redhat/init.d-collectd /etc/init.d/collectd
chmod +x /etc/init.d/collectd
启动：
service collectd start

一般配置：
Hostname "host.example.com"
LoadPlugin interface
LoadPlugin cpu
LoadPlugin memory
LoadPlugin network
LoadPlugin df
LoadPlugin disk
<Plugin interface>
    Interface "eth0"
    IgnoreSelected false
</Plugin>
<Plugin network>
    <Server "10.0.0.1" "25826"> ## logstash 的 IP 地址和 collectd 的数据接收端口号
    </Server>
</Plugin>
下面是使用snmp
在这里重点是两台服务器的防火墙已经关闭 service iptables stop 命令，而如果不关闭可以留个端口让防火墙不监听也行。

在这里重点讲解如何配置colletcd ,该配置文件在、/etc/colletcd.conf 中
我这里重点在配置snmp 那一块(在安装好colletcd 之后要安装好snmp 服务，安装该服务将在下面讲解，该服务相当于collectd支持的插件，然后再colletcd 的配置文件中（/etc/colletcd.conf)修改下面的配置项)，而对于network 则是为了完成于logstash直接的通信，使用udp来发送数据用的，配置项如下进行修改。
<Plugin snmp>

</Plugin snap>

<Plugin network>
</Plugin network>

logstash的安装和配置：

2. 解压，进入目录在其中建立config 目录

3.新建一个coll.conf 文件 并配置，
input{
 udp {
    port => 25826
    buffer_size => 1452
    workers => 3          # Default is 2
    queue_size => 30000   # Default is 2000
    codec => collectd { }
    type => "collectd"
}
}

output {
 file{
  path=> ["/home/ltz/coll.log"]

     }
}

4 .启动命令，  bin/logstash agent --verbose --config config/coll.conf
snmp服务的安装，本人用的是centos ,

YUM 安装

1  yum install -y net-snmp net-snmp-utils


使用命令：$ rpm -qa|grep snmp

检查是否安装net-snmp-utils-5.3.2.2-5.el5，net-snmp-libs-5.3.2.2-5.el5，net-snmp-5.3.2.2-5.el5三个rpm包

使用命令：$ rpm -qa|grep libsen

检查是否安装libsensors3-2.10.6-55.el5  （这里好像没有安装上，但也能使用）

使用命令：$ rpm -qa|grep lm

检查是否安装lm_sensors-2.10.6-55.el5

2.启动
$ service snmpd start

3.验证snmp 服务

1）使用snmpwalk命令，查看本机localhost的主机名：

 snmpwalk  -v 2c -c public localhost sysName.0

显示：SNMPV2-MIB::sysName.0=STRING:orcale.domain.com


（2）使用snmptranslate命令，检查snmp工具是否可以使用：

snmptranslate -To |head

.1.3

.1.3.6

.1.3.6.1

.1.3.6.1.1

.......

如上，查出了部分oid，则表示snmp工具可以正常使用。

3）测试远端主机是否可以获取数据。

我这里登陆了另外一台Linux主机，该主机也按照上面的步骤安装好snmp服务及snmp工具。通过这台主机，获取远端主机的数据，这时需指定远端主机的IP地址：

snmpwalk -v 2c -c public 192.168.136.130 sysName.0

显示：SNMPv2-MIB::sysName.0=STRING:oracle.domain.com

这里要记住防火墙是否关闭或者端口是否可以监听。

最后就是snmp服务的配置。我的配置文件在/etc/snmp/snmp/conf. 具体如何配置可以查找资料
我的研究是可以通过配置 脚本来看远端服务器的信息以及等等 











 
 
 
 
 
  
 
   
 
 
 
  
 
 
 
 
 
  
 
 
 


                

        

        

    

  


    

      

        

            

              
                
                  taizhenba
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
日志系统的搭建(collectd + logstash + influxdb)

				
			

			

				

					julykobe的专栏
				

				

					03-01
					
					1万+
					
				

			

		

		

			
				
背景要提供一套新的服务，正好借这个机会把所有日志都整合起来：squid，collectd等等。同时存入influxdb中，用influxdb的原因是：
需要的查询大多是随机查询，而它提供sql-like的查询语言，并且有一个简单的UI
go写的。。。。（老大喜欢）
elasticsearch没有一个好的dashboard
概述
squid：缓存数据的代理服务器。通过缓存和服用频繁访问的页面来减小带宽

			
		

	



                

              
                



	

		

			

				
					
logstash-snmpout:Logstash 的 SNMP 输出

				
			

			

				

					06-19
				

			

		

		

			
				
logstash-snmpout
 Logstash 的 SNMP 陷阱 v2c 输出
＃概要
 output {
  snmptrap {
    codec => ... # codec (optional), default: "line"
    host => ... # string (optional), default: "0.0.0.0"
    port => ... # number (optional), default: "162"
    community => ... # string (optional), default: "public"
    oid => ... # string (required)
    yamlmibdir => ... # string (optional)
  }
}

			
		

	



                


  
              

                


	

		

			

				
					
logstash处理snmptrap消息问题

				
			

			

				

					wangsht的专栏
				

				

					04-17
					
					685
					
				

			

		

		

			
				
logstash处理snmptrap消息问题


input {
    snmptrap {
        port => "162"
    }
}

output {
    stdout {
        codec => rubydebug
    }
}



snmptrap 配置会默认只接受 community => ["public"] 的snmp 告警消息

现需要接收到 其他不明确community的消息，虽然community支持多配，但无法满足此场景


..

			
		

	





	

		

			

				
					
10 款免费的网络监控工具

					
最新发布

				
			

			

				

					liuhyusb的博客
				

				

					08-05
					
					721
					
				

			

		

		

			
				
互联网的飞速发展，互联网的使用越来越普遍，网络和互联网不仅成为企业内部的沟通桥梁，也是企业和外部进行各类业务往来的重要管道。网络监控软件定义：指针对局域网内的计算机进行监视和控制，针对内部的电脑上互联网活动（上网监控）以及非上网相关的内部行为与资产等过程管理（内网监控；所以包含了上网监控（上网行为监视和控制、上网行为安全审计）和内网监控（内网行为监视、控制、软硬件资产管理、数据与信息安全），有些还增加了数据安全的透明加密软件部署。

			
		

	



		

			
		



	

		

			

				
					
关于Logstash和snmp-trap事件

				
			

			

				

					gaohaicheng123的博客
				

				

					11-24
					
					4378
					
				

			

		

		

			
				
目前SNMP 主要版本有 v1、v2、v3三个版本，根据SNMP 版本的不同，报文格式会有不同。但是总体上主要是 HEAD + PDU。其中PDU主要携带数据，若干 OID（NAME/VALUE 值对）。1．  Logstash 的input插件 snmptrap ( logstash-input-snmptrap )，主要功能： 
(1)     接收 SNMP  v1 和 v2c 版本的 TRA

			
		

	





	

		

			

				
					
logstash(二)：搭建snmptrap测试环境

				
			

			

				

					甘焕的博客
				

				

					08-08
					
					5442
					
				

			

		

		

			
				
对于网络设备，抓取日志的最佳方式莫过于snmptrap，简单快捷、扩展丰富、解析方便，首先需要配置snmptrap插件，这是默认安全的输入插件。首先检查插件的安装情况与版本信息：#   检查安全包内是否包含此插件
bin/logstash-plugin list --version|grep snmp其次编写snmp trap配置文件：input {
    snmptrap {
        #

			
		

	





	

		

			

				
					
Logstash_snmp与Logstash_snmptrap日志采集配置说明

				
			

			

				

					a150791038的博客
				

				

					04-07
					
					2247
					
				

			

		

		

			
				
区别
Logstash_input_snmp：主动采集方式。需要提供团体名、oid、主机名及端口，主动采集数据

Logstash_input_snmptrap：被动采集方式，安全设备通过snmp发送日志过来，被动采集



关键字
团体名（communitystring）：对于客户端相当于密码，默认为public，需要自行需改。

OID(对象标识符），是SNMP代理提供的具有唯一标识的键值

MIB（管理信息基）：提供数字化OID到可读文本的映射



版本选择
snmp版本：5.7.2（centos.

			
		

	





	

		

			

				
					
flume和logstash.zip

				
			

			

				

					07-07
				

			

		

		

			
				
标题中的"flume和logstash.zip"是一个包含两个著名数据采集工具——Apache Flume和Logstash的压缩包。这两个工具都是大数据生态系统中的重要组件，主要用于日志管理和数据收集。  Apache Flume是一个分布式、可靠且...

			
		

	





	

		

			

				
					
Logstash6整合Hadoop-报错与解决方案.docx

				
			

			

				

					10-26
				

			

		

		

			
				
在大数据处理中，Logstash 和 Hadoop 是经常被使用的组件，但是它们之间的整合可能会出现一些报错，例如 Failed to connect to host 192.168.0.80:50070,No route to host 等。这篇文章将详细介绍 Logstash6 整合 ...

			
		

	





	

		

			

				
					
用Kibana和logstash快速搭建实时日志查询、收集与分析系统

				
			

			

				

					02-25
				

			

		

		

			
				
他可以为Logstash和ElasticSearch提供的日志分析的Web界面说到这里，我们看看kibana和logstash到底能为我们做些什么呢？下面是kibana的界面简单来讲他具体的工作流程就是logstashagent监控并过滤日志，将过滤后的...

			
		

	





	

		

			

				
					
javasnmp源码-collectd:对collectd的一些个人修改，踢屁股数据收集器

				
			

			

				

					06-04
				

			

		

		

			
				
java
snmp
源码

			
		

	





	

		

			

				
					
系统性能监控利器-collectd详解

				
			

			

				

					第27号专栏
				

				

					12-17
					
					6821
					
				

			

		

		

			
				
系统监控是作为网站运维、网站性能优化必不可少的工具，目前比较常用的有Nagios、Cacti以及Zabbix，笔者用过后两个，其中Zabbix确实很强大，web界面操作也比较不错。不过这几个工具安装起来那可并不简单，其中Nagios的复杂那可是出了名的。

插播：关于服务器端监控命令请参考前文《Linux服务器性能追踪以及服务器监控常用命令》

笔者近期一直在尝试用Collectd，一款性

			
		

	





	

		

			

				
					
colletcd+graphite部署踩坑和自定义插件开发

				
			

			

				

					kyfzx的博客
				

				

					07-18
					
					443
					
				

			

		

		

			
				
在RHEL7+浪潮NX560T集群上部署collectd+graphite监控遇到了好多坑。特此记录
部署collectd
1.找不到预编译的二进制包，只能从官方下载源码编译了。按官方说明编译会自动安装到/opt/collectd中。然后按网上的说明将源码目录下的启动文件拷贝到系统目录下
cp contrib/redhat/init.d-collectd /etc/init.d/collectd
...

			
		

	





	

		

			

				
					
使用collectd收集物理机和虚拟机的运行信息（参考的文章已经在文前注明）

				
			

			

				

					hwbi的专栏
				

				

					02-10
					
					3376
					
				

			

		

		

			
				
目的： 编译在server 和client 端编译 并 安装 collectd， 收集client物理机及其上运行的虚拟机信息，发送到server段。
一：server端
 1 /etc/hostname 中的名字需要和/etc/hosts中的127.0.1.1 后面的名字一致，否则会启动不了collectd或者
   在/var/lib/collectd中生成不了rrd文件。


2

			
		

	





	

		

			

				
					
Logstash对接 SNMP v2和 v3

				
			

			

				

					Daphnis的博客
				

				

					11-04
					
					983
					
				

			

		

		

			
				
老版的 logstash不支持 snmp协议，当时只能自己写插件实现，现在官方支持了，故验证其对 v2c和 v3两个版本 snmp的支持情况，并熟悉其用法。

			
		

	





	

		

			

				
					
collectd 与 logstash配置

				
			

			

				

					anmin1992的专栏
				

				

					09-16
					
					171
					
				

			

		

		

			
				
节点

node1: 配置logstash
node2: 配置collectd, collectd收集本地的信息, 通过配置将信息发送到node1节点

node1安装配置logstash

rpm -ivh logstash.rpm
logstash安装在/opt目录下, 在/etc/profile,d目录下添加logstash.sh脚本文件将其添加到环境变量中
export PATH...

			
		

	





	

		

			

				
					
centos7 搭建 collectd + influxdb + statsd + grafana

				
			

			

				

					yang.zhou欢迎各位
				

				

					11-22
					
					5948
					
				

			

		

		

			
				
搭建 collectd + influxdb + statsd + grafana
1.安装 collectd

Yum install eprl-release
Yum install collectd
 
2.安装 influxdb
和 grafana  参照如下文档
http://blog.csdn.net/qq_21398167/article/details/529202

			
		

	





	

		

			

				
					
logstash整合es

				
			

			

				

					09-15
				

			

		

		

			
				
Logstash是一个用于收集、处理和传输数据的工具，可以将各种数据源（包括数据库和文件）中的数据发送到Elasticsearch进行索引。为了实现Logstash与Elasticsearch的整合，你需要完成以下几个步骤：  1. 首先，你需要...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值