Netflow(FreeBSD)

 本文转自http://www.chinaunix.net 作者:eliumao  发表于：2005-12-13 22:17:40

Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。也许它不能象tcpdump那样提供网络流量的完整记录，但是当汇集起来是，它更加易于管理和易读。Netflow由Cisco创造。

这篇文章主要参考http://www.onlamp.com/lpt/a/6137和http://www.onlamp.com/lpt/a/6177这两篇文章，由于自行加入了ng_netflow和修改了部分程序，勉强算做原创吧

Netflow

Netflow提供网络流量的会话级视图，记录下每个TCP/IP事务的信息。也许它不能象tcpdump那样提供网络流量的完整记录，但是当汇集起来是，它更加易于管理和易读。Netflow由Cisco创造。

Netflow结构

一个Netflow系统包括三个主要部分：探测器，采集器，报告系统。探测器是用来监听网络数据的。采集器是用来收集探测器传来的数据的。报告系统是用来从采集器收集到的数据产生易读的报告的。

探测器设置

探测器有很多种，常用的如softflowd，freebsd自带的ng_netflow。

（1）softflowd

a.安装

#/usr/ports/net-mgmt/softflowd/make install clean

b.运行

#softflowd -i 监听网卡 -n 采集器IP:端口

c。监控程序

#softflowctl statistics 查看状态，还有很多参数，自己看man

（2）ng_netflow

a.配置

1./boot/loader.conf

ng_ether_load="YES"

ng_one2many_load="YES"

2.ng配置文件/etc/ng_conf

mkpeer 监听网卡: netflow lower iface0

name 监听网卡:lower netflow

connect 监听网卡: netflow: upper out0

mkpeer netflow: ksocket export inet/dgram/udp

msg netflow:export connect inet/采集器IP:端口

b.运行

#/usr/sbin/ngctl -f /etc/ng_conf 

如果需要自动运行，需要在/usr/local/etc/rc.d/目录下加入相应的启动脚本

采集器设置

（1）安装flow-tools

#/usr/ports/net-mgmt/flow-tools/make install clean

（2）运行

#/usr/local/bin/flow-capture -p /var/run/flow-capture.pid -n 287 -N 0 -w /var/log/netflows/ -S 5 本地监听IP/远端IP/监听端口
:D
其中，/var/log/netflows/目录为日志目录，需要手动创建；本地监听IP为0,则在所有IP监听；远端IP为0,接受任意探测器的数据；其它可以不用更改。

一旦启动flow-capture，日志目录下就会出现日志文件。例如tmp-v05.2005-12-12.174000+0800，表示临时的，Netflow版本5的数据，采集开始时间是2005-12-12,17：40：00,距离GMT（标准时间）+8小时。每隔5分钟，flow-capture就会把临时文件移动到永久位置，并开始记录新的临时文件。永久文件就是把tmp替换成ft，文件名的其它部分一样，文件也在同样的日志目录下。

报告系统

（1）Cflow.pm

日志文件是二进制形式，需要特殊的工具阅读。很多工具均利用Cflow.pm。你可以把它当作一个简单的命令行工具。

a.安装 

#/usr/ports/net-mgmt/p5-Cflow/make install

注意，这里没有用"clean"这个参数，因为，安装过程可能出错，错误提示包括这样一行

"Note (probably harmless): No library found for -lnsl"

如果是这样你还需要做下面的工作：

# cd /usr/ports/net-mgmt/flow-tools/work/flow-tools-0.68/contrib

# tar -xzvf Cflow-1.051.tar.gz

# cd Cflow-1.051

# perl Makefile.PL

# make

# make install 

这样才算安装成功,可以"clean"了

b.使用

#flowdumper -s ft-v05.2005-12-12.174000+0800

后面会出来很多记录信息。结果很容易阅读。但是没有我们关心的汇总之类的图形化的东西，当然你可以在flowdumper的基础上自行书写程序，但是，当然，肯定已经有很多非常棒的程序在那里等着我们了。

（2）flowscan和CUFlow

flowscan是把采集器采集到的数据（/var/log/netflows/ft-*）分类整理，输出rrd格式的文件；CUFlow是flowscan使用的模块（或者插件）。同时CUFlow包含一个程序，方便我们通过WEB访问定制的图形化数据。

a.flowscan设置

1.安装：

#/usr/ports/net-mgmt/flowscan/make install clean

由于一段时间来没有官方的升级版本，所以要从这里

http://net.doit.wisc.edu/~plonka/list/flowscan/archive/att-0848/01-FlowScan.pm

下载升级版本（V1.5至V1.6）才能正确处理日志数据。然后

#cp 01-FlowScan.pm /usr/local/var/db/flows/bin/FlowScan.pm

2.配置：

#cd /usr/local/var/db/flows/bin/;

#cp flowscan.cf.sample flowscan.cf

#vi flowscan.cf /*修改配置文件flowscan.cf*/

------------------------------------------------------------------------------

FlowFileGlob /var/log/netflows/ft-v*[0-9] #需要分析的数据的位置

ReportClasses CUFlow #使用的分析模块

WaitSeconds 300 #分析数据产生间隔，单位是秒，这里是5分钟

Verbose 1 #详细日志，但是可以在系统调试完成后关闭它，设置为0

------------------------------------------------------------------------------

b.配置CUFlow

在这里（http://www.columbia.edu/acis/networks/advanced/CUFlow/）下载CUFlow。

#tar xvfz CUFlow-1.5.tgz；cd CUFlow-1.5

#cp CUFlow.pm CUFlow.cf /usr/local/var/db/flows/bin

#vi CUFlow.cf /*修改配置文件CUFlow.cf*/

---------------------------------------------------------------------------------------

Subnet 192.168.2/23 #告诉CUFlow内网的IP段高，意区分外出和进入流量

Network 192.168.1.3,192.168.1.5 webservers #设置要分别处理的流量，当然你

Network 192.168.1.9,192.168.1.1 mailservers #会得到分别的数据显示。注意：

Network 192.168.1.0/25 infrastructure #设置的地址可以交叠

OutputDir /var/log/cuflow #输出结果的位置(RRD)

Scoreboard 10 /usr/local/www/data/scoreboard /usr/local/www/data/scoreboard/topten.html

#产生过去5分钟内TopN用户的网页，这里N是10,就是头10位最大用户

AggregateScore 10 /var/log/cuflow/agg.dat /usr/local/www/data/overall.html

#产生所有5分钟采样的平均值，这里是头10位

Router 192.168.1.1 fred #如果你的网络有比较复杂，多个网段都有自己的探测器，这里就是区分各个

Router 192.168.2.1 barney #不同的探测器的流量

Service 20-21/tcp ftp #你感兴趣的服务，可以很多，可以自定义

Service 22/tcp ssh

Service 23/tcp telnet

Protocol 1 icmp #你感兴趣的协议

Protocol 6 tcp

Protocol 17 udp

#ASNumber 1 Genuity #这一项是Cisco专用的，所以我注释掉了

----------------------------------------------------------------------------------------

#mkdir /var/log/cuflow

#mkdir /usr/local/www/data/scoreboard

c.运行：

# /usr/local/var/db/flows/bin/flowscan

可以看到flowscan开始处理/var/log/netflows/下的文件了，处理完后就会sleep等待300秒了。

d.启动脚本

# cp /usr/local/etc/rc.d/cflowd-flowscan.sh.sample /usr/local/etc/rc.d/cflowd-flowscan.sh

日志在/var/log/flowscan.log

（3）图形结果

a.还记得刚才那个CUFlow的包么，里面有一个叫做CUGrapher.pl的文件，把它复制到/usr/local/www/cgi-bin/下。

b.修改

#vi /usr/local/www/cgi-bin/CUGrapher.pl

--------------------------------------------------------------------------------

my $rrddir = "/var/log/cuflow"; #要处理的rrd文件的位置

my $organization = "My Network"; #修改成自己公司的名字

--------------------------------------------------------------------------------

c.浏览

http://youip/topten.html #Top10列表

http://youip/overall.html #总汇总列表

http://youip/cgi-bin/CUGrapher.pl #可定制输出

d.如果你配置无误，并且幸运的话，一切都会正常。但是我在这里遇到了问题。有些（除了Network之外的几乎全部）选项无法产生图象。在google了一通未能找到答案后，开始了痛苦的程序debug过程。好在CUGrapher.pl是个perl程序，并不很长，让我找到了问题的所在。需要修改一下CUGrapher.pl这个文件：

# vi CUGrapher.pl

--------------------------------------------------------------------------------

# router name

if( scalar @} || scalar @} || scalar @}

|| exists $total ) {

push @args, 'COMMENT: Router: '.$r;

}

---------------------------------------------------------------------------------

找到上面这部分，全部注释掉。

由于我较懒，所以采用了回避（注释）的方法。

图形结果也许不那么令你满意，当然，你可以根据自己的需要修改CUGrapher.pl来定制。如果你有改好的文档，十分感谢能告诉我。