初学流量分析

     一、基本知识 

         比赛中提供一个包含流量数据的 PCAP 文件，有时候也会需要选手们先进行修复或重构传输文件后，再进行分析。

    PCAP 这一块作为重点，复杂的地方在于数据包里充满着大量无关的流量信息，因此如何分类和过滤数据是参赛者需要完成的工作。

总的来说有以下几个步骤

• 总体把握
  • 协议分级
  • 端点统计
• 过滤赛选
  • 过滤语法
  • Host，Protocol，contains，特征值
• 发现异常
  • 特殊字符串
  • 协议某字段
  • flag 位于服务器中
• 数据提取
  • 字符串取
  • • 文件提取
  • 流量包修复
  • 协议分析
  • 数据提取

二、大致类型

（一）、PCAP文件修复

        PCAP一般较少，通常借助pcapfix工具就可以修复。

一般文件结构

0                 1                 2                 3

0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| Block Type |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| Block Total Length |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

/ Block Body / / /* variable length, aligned to 32 bits */ /

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| Block Total Length |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

常见块

Section Header BlocK(文件头)

必须存在, 意味着文件的开始

0 1 2 3

0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| Byte-Order Magic (0x1A2B3C4D) |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| Major Version(主版本号) | Minor Version(次版本号) |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| | | Section Length | | |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

/ / / Options (variable) / / /

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Interface Description Block(接口描述)¶

必须存在, 描述接口特性

0                 1                 2                 3

0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| LinkType | Reserved |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| SnapLen(每个数据包最大字节数) |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

/ / / Options (variable) / / /

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Packet Block(数据块)

0                 1                 2                 3

0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| Interface ID | Drops Count |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |

Timestamp (High) 标准的Unix格式 |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| Timestamp (Low) |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| Captured Len |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| Packet Len |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

/ Packet Data / / /* variable length, aligned to 32 bits */ /

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

/ Options (variable) /

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

例题

   百度杯（find the flag）

先用notepad++搜索了flag

没有什么特别的东西

接下来用wireshark来用

弹窗告诉我们需要进行文件修复

在线工具：
pcapfix - online pcap / pcapng repair service (f00l.de)

得到修复后的东西

追踪tcp流

多查几次，可以看到了

后面继续看看

       发现了 tcp.stream eq 29 的时候，在 Identification 信息中看到了 flag 中的 lf 字样，我们可以继续追踪下一个流，在 tcp.stream eq 30 的 Identification 信息中看到了 flag 中的 ga 字样，我们发现将两个包中 Identification 信息对应的字段从右至左组合。最后得到了flag。

flag{aha!_you_found_it!}

总结一下 ，

        利用Kali或者notepad++，搜索一下有没有异常的东西；

       然后利用wireshark打开发现无法打开，然后进行文件修复；

       之后追踪流搜寻信息，寻找规律；

      主要熟悉wireshark的用法；

（二）协议分析

        网络协议为计算机网络中进行数据交换而建立的规则、标准或约定的集合。

HTTP协议

       （ HTTP ，也称为超文本传输协议) 是一种用于分布式、协作式和超媒体信息系统的应用层协议。 HTTP万维网的数据通信的基础。

HTTPS协议

        HTTPS=HTTP+TLS/SSL 服务端和客户端的信息传输都会通过 TLS 进行加密，所以传输的数据都是加密后的数据.

FTP协议

    FTP(即文件传输协议) 是 TCP/IP 协议组中的协议之一。 FTP 协议包括两个组成部分，其一为 FTP服务器，其二为 FTP 客户端。其中 FTP 服务器用来存储文件，用户可以使用 FTP客户端通过 FTP协议访问位于 FTP 服务器上的资源。在开发网站的时候，通常利用 FTP 协议把网页或程序传到 Web 服务器上。此外，由于 FTP 传输效率非常高，在网络上传输大的文件时，一般也采用该协议。

        默认情况下 FTP协议使用 TCP 端口中的 20 和 21 这两个端口，其中 20 用于传输数据， 21用于传输控制信息。但是，是否使用 20 作为传输数据的端口与 FTP 使用的传输模式有关，如果采用主动模式，那么数据传输端口就是 20；如果采用被动模式，则具体最终使用哪个端口要服务器端和客户端协商决定。

例题：
 

（三）数据提取

        也是利用wireshark

wireshark 自动分析 

file -> export objects -> http

手动数据提取 

file->export selected Packet Bytes

tshark

        tshark 作为 wireshark 的命令行版, 高效快捷是它的优点, 配合其余命令行工具 (awk,grep) 等灵活使用, 可以快速定位, 提取数据从而省去了繁杂的脚本编写。

例题：
 

三、wireshark的基本使用方法

过滤IP，如来源IP或者目标IP等于某个IP

例子:

ip.src eq 192.168.1.107 or ip.dst eq 192.168.1.107或者

过滤端口

例子:

tcp.port eq 80 // 不管端口是来源的还是目标的都显示

tcp.port == 80

tcp.port eq 2722

tcp.port eq 80 or udp.port eq 80

tcp.dstport == 80 // 只显tcp协议的目标端口80

tcp.srcport == 80 // 只显tcp协议的来源端口80

udp.port eq 15000

过滤端口范围：tcp.port >= 1 and tcp.port <= 80

ip.addr eq 192.168.1.107 // 都能显示来源IP和目标IP

  过滤协议

例子:

tcp udp arp icmp http smtp ftp dns  msnms  ip ssl oicq  bootp等等

排除arp包，如!arp   或者   not arp

   http模式过滤

例子:

http.request.method == “GET”

http.request.method == “POST”

http.request.uri == “/img/logo-edu.gif”

http contains “GET”

http contains “HTTP/1.”

// GET包

http.request.method == “GET” && http contains “Host: “

http.request.method == “GET” && http contains “User-Agent: “

// POST包

http.request.method == “POST” && http contains “Host: “

http.request.method == “POST” && http contains “User-Agent: “

// 响应包

http contains “HTTP/1.1 200 OK” && http contains “Content-Type: “

http contains “HTTP/1.0 200 OK” && http contains “Content-Type: “

一定包含如下

Content-Type:

TCP参数过滤

tcp.flags 显示包含TCP标志的封包。

tcp.flags.syn == 0x02     显示包含TCP SYN标志的封包。

tcp.window_size == 0 && tcp.flags.reset != 1

 wireshark基本的语法字符

\d          0-9的数字

\D          \d的补集（以所以字符为全集，下同），即所有非数字的字符

\w          单词字符，指大小写字母、0-9的数字、下划线

\W          \w的补集

\s          空白字符，包括换行符\n、回车符\r、制表符\t、垂直制表符\v、换页符\f

\S          \s的补集

.          除换行符\n外的任意字符。 在Perl中，“.”可以匹配新行符的模式被称作“单行模式”

.*       匹配任意文本，不包括回车(\n)? 。 而，[0x00-0xff]*        匹配任意文本,包括\n

[…]          匹配[]内所列出的所有字符

[^…]          匹配非[]内所列出的字符

wireshark过滤匹配表达式实例

    搜索按条件过滤udp的数据段payload（数字8是表示udp头部有8个字节，数据部分从第9个字节开始udp[8:]）

udp[8]==14        (14是十六进制0x14)匹配payload第一个字节0x14的UDP数据包

udp[8:2]==14:05 可以udp[8:2]==1405，且只支持2个字节连续，三个以上须使用冒号：分隔表示十六进制。 (相当于 udp[8]==14 and udp[9]==05,1405是0x1405)

udp[8:3]==22:00:f7 但是不可以udp[8:3]==2200f7

udp[8:4]==00:04:00:2a，匹配payload的前4个字节0x0004002a

而udp contains 7c:7c:7d:7d 匹配payload中含有0x7c7c7d7d的UDP数据包，不一定是从第一字节匹配。

udp[8:4] matches “\\x14\\x05\\x07\\x18″

udp[8:] matches “^\\x14\\x05\\x07\\x18\\x14″

搜索按条件过滤tcp的数据段payload（数字20是表示tcp头部有20个字节，数据部分从第21个字节开始tcp[20:]）

tcp[20:] matches “^GET [ -~]*HTTP/1.1\\x0d\\x0a”

等同http matches “^GET [ -~]*HTTP/1.1\\x0d\\x0a”

来自：http://www.csna.cn/viewthread.php?tid=14614

tcp[20:] matches “^GET (.*?)HTTP/1.1\\x0d\\x0a”

tcp[20:] matches “^GET (.*?)HTTP/1.1\\x0d\\x0a[\\x00-\\xff]*Host: (.*?)pplive(.*?)\\x0d\\x0a”

tcp[20:] matches “^GET (.*?)HTTP/1.1\\x0d\\x0a[\\x00-\\xff]*Host: “

tcp[20:] matches “^POST / HTTP/1.1\\x0d\\x0a[\\x00-\\xff]*\\x0d\\x0aConnection: Keep-Alive\\x0d\\x0a\\x0d\\x0a”

检测SMB头的smb标记，指明smb标记从tcp头部第24byte的位置开始匹配。

tcp[24:4] == ff:53:4d:42

检测SMB头的smb标记，tcp的数据包含十六进制ff:53:4d:42，从tcp头部开始搜索此数据。

tcp contains ff:53:4d:42

tcp matches “\\xff\\x53\\x4d\\x42″

检测tcp含有十六进制01:bd,从tcp头部开始搜索此数据。

tcp matches “\\x01\\xbd”

检测MS08067的RPC请求路径

tcp[179:13] == 00:5c:00:2e:00:2e:00:5c:00:2e:00:2e:00

                  \      .     .     \     .     .

2、定位字符  所代表的是一个虚的字符，它代表一个位置，你也可以直观地认为“定位字符”所代表的是某个字符与字符间的那个微小间隙。

^          表示其后的字符必须位于字符串的开始处

$          表示其前面的字符必须位于字符串的结束处

\b          匹配一个单词的边界

\B          匹配一个非单词的边界