基于HBASE的数据包捕获、存储、回溯工具

本文代码位置：http://zhuzhibo0.github.io/hbasepacket/

概述

抓包、存储、回溯无论是在网络排障还是审计等都是可以用到的。由于工作关系，所在公司的网络比较复杂，抓包机的部署位置也比较分散，同时流量又很大，比较老套的方式就是一台机器抓包直接存放在本地硬盘，查找的时候用tcpdump过滤，但是现在都是大数据时代了，所以就尝试用hbase做了一个所谓的分布式捕获数据包回溯的小工具，用于捕获存储数据包并且可以快速回溯。

代码结构：

小工具git文件结构

如图：

Phb是抓包程序，phb-service是提供web服务的程序用于查找原始数据包，为了方面编译，相应的软件和插件分别放在了software和plugin中。

 

Hbase

为什么选择HBASE呢？Hbase一个分布式的、面向列的开源数据库，并且它是基于HDFS的，也就是说既可以海量存储，又可以快速查询

环境配置：

我这里使用的版本是：

hadoop-2.6.0

hbase-0.98.12

环境搭建这里不做详细描述，百度，google 一大堆。

键值设计：

存储