基于文本内容的网络行为分析

1、主要目的：

在网关使用一种抓包工具，得到用户的Ip，目的IP，以及访问的内容。就可以进行对用户进行分析。

2、主要涉及到的内容

（1）讨论了网络行为分析的相关理论介绍了数据包捕获技术,详细讨论了TCP/IP协议模型及其工作原理对以太网数据帧的封装和分用进行了介绍,重点讨论了IP分片和TCP流数据重组技术,最后对超文本传送协议进行了探讨。

（2）对基于文本的网络行为分析系统的设计与实现进行重点讨论对系统的运行及开发环境进行介绍,并给出系统的物理和逻辑构架对网络行为分析的处理流程进行讨论,介绍并实现了数据包的捕获和协议分析,最终还原出用户的网络行为。
（3）对文本分析方法进行探讨,着重探讨了潜在语义分析算法,并将潜在语义分析算法应用到网络行为分析系统中,有效的实现了网络行为分析。

3、整体的结构图：

4、网络行为分析的相关理论

    网络行为分析需要用到的理论很多,包括数据包捕获技术、协议栈的工作原理、以太网数据帧的分析、网络行为还原时用到的分片重组和流数据重组以及应用层协议等

4.1  数据包捕获

    数据包捕获成功与否直接决定网络行为分析系统的优劣,数据包捕获的效率直接影响整个系统的性能。为了捕获所有的网络数据包和获得最高的捕获效率,本文实现的系统的数据包捕获通过编写NDIS中间层驱动程序来实现。

    一般情况下,计算机只接收目标主机地址为本机地址的数据包,而其它的数据包将不作任何处理而被丢弃。在实际的应用当中,我们要根据系统的需要设定网卡的工作模式,使系统可以接收全部或者部分数据包。网卡的工作模式主要包括以下几种直接模式、混杂模式、广播模式和多播传送组内广播等。系统启动时一般会将网卡的工作模式预设为直接模式和广播模式。在预设模式下,网卡只接收目的地址为自己地址的数据帧和广播帧。本文实现的系统需要捕获流过中心交换机的所有数据包,因此系统启动时要将网卡的工作模式设置为混杂模式。

4.2 TCP/IP网络协议

4.2.1 TCP、IP的介绍

   OSI网络开放模型包括：物理层、数据链路层、网络层、传输层、会话层、表示层和应用层。

  TCP/IP模型包括：数据链路层、网络层、运输层和应用层。

4.2.2 以太网帧的结构

4.2.3 IP协议

4.2.4 TCP协议

4.2.5应用层协议

HTTP SNMP FTP SMTP

4.2.6协议栈中数据的封装过程

4.2.7 以太帧分用过程

4.2.8 IP分片以及TCP流重组

4.2.9超文本传送协议HTTP协议的介绍

5、整体的网络行为分析的流程图

6、使用潜在语义分析LSI进行文本的分析。我的博客前面有文章讲解LSI的原理