flow相关文件及作用
flow.h flow.c:
flow-worker.h flow-worker.c:
flow-hash.h flow-hash.c:
flow-manager.h flow-manager.c:
flow-timeout.h flow-timeout.c:
flow-queue.h flow-queue.c
flow-private.h
tmqh-flow.c tmqh-flow.h
flow-storage.h flow-storage.c
flow-util.h flow-util.c
output-json-flow.c output-json-flow.h
detect-flow.h detect-flow.c
detect-flowbits.h detect-flowbits.c
detect-flowint.h detect-flowint.c
detect-flowvar.h detect-flowvar.c
flow-bit.h flow-bit.c
flow-bypass.h flow-bypass.c
flow-spare-pool.h flow-spare-pool.c
output-flow.h output-flow.c
flow-var.c flow-var.h
flow-var:
定义flow变量,有两种类型,分别是FLOWVAR_TYPE_STR和FLOWVAR_TYPE_INT。
①FlowVarTypeStr结构体:FLOWVAR_TYPE_STR类型,包含内容和长度。
②FlowVarTypeInt结构体:FLOWVAR_TYPE_INT类型, 包含内容。
③FlowVar结构体:Flowvar的带索引的单向链表。
④FlowVarAddIdValue函数:通过idx从flow中拿flowvar,没拿到就新建一个,然后把value(STR)放进去,追加到flow的flowvar链表之后。
⑤FlowVarAddKeyValue函数:新建一个flowvar,value放进去,追加到flow的flowvar链表之后。
⑥FlowVarAddIntNoLock函数:通过idx从flow中拿flowvar,没拿到就新建一个,然后把value(int)放进去,追加到flow的flowvar链表之后。
⑦FlowVarAddInt函数:调用FlowVarAddIntNoLock。
⑧FlowVarGet函数:通过idx 获取flow中的flowvar
⑨FlowVarGetByKey函数:当idx为0,获取与key值相同的flow-》flowvar。
⑩FlowVarFree函数
11.FlowVarPrint函数
flow-manager:
①FlowTimeoutsInit函数:从flow_timeouts_normal中拿超时时间flow_timeouts
②FlowTimeoutsEmergency函数:从flow_timeouts_emerg中拿超时时间flow_timeouts
③FlowManagerThreadSpawn函数
④FlowDisableFlowManagerThread函数
⑤FlowRecyclerThreadSpawn函数
⑥FlowDisableFlowRecyclerThread函数
⑦TmModuleFlowManagerRegister函数
⑧TmModuleFlowRecyclerRegister函数
⑨FlowTimeoutCounters结构
flow-private:
①FlowGetFlowTimeoutDirect函数:判断NEW、ESTABLISHED、CLOSED、OFFLOAD、LOCAL_BYPASSED超时(只要有一个超时即超时)
①FlowGetFlowTimeout函数
①FlowGetTimeoutPolicy函数
①FlowGetFlowTimeoutDirect函数
一、Flow
所有相同元组(协议,源IP,目的IP,源端口,目的端口)的包分组属于同一流。使用flow管理一个会话。
通常我们也指从一端到另一端的一次网络数据传输过程。其包含连接的建立,数据的传输。一条流往往指的是一次完成的数据传输,其包含了该过程中所有的数据包。但是一个连接可以有多个流,即在连接建立之后,可以有多次的数据传输。
二、Flow的管理
suricata实现了流管理机制来回收与重复利用Flow。suricata使用三个线程维护这三个队列(Flow哈希表,Flow备用队列,Flow回收队列)。
其中:
2.1 线程
①FlowManager线程:从流表中摘除超时的流放入回收队列,检查空闲队列长度是否为预设值,若过长则释放一部分,若过短则申请一部分。
// 根据配置创建flow_managers线程个数
void FlowManagerThreadSpawn()
{
intmax_t setting = 1;
(void)ConfGetInt("flow.managers", &setting);
if (setting < 1 || setting > 1024) {
FatalError(SC_ERR_INVALID_ARGUMENTS,
"invalid flow.managers setting %"PRIdMAX, setting);
}
flowmgr_number = (uint32_t)setting;
SCLogConfig("using %u flow manager threads", flowmgr_number);
StatsRegisterGlobalCounter("flow.memuse", FlowGetMemuse);// 注册一个全局的原子的flow计数器flow_memuse
for (uint32_t u = 0; u < flowmgr_number; u++) {
char name[TM_THREAD_NAME_MAX];
snprintf(name, sizeof(name), "%s#%02u", thread_name_flow_mgr, u+1);
ThreadVars *tv_flowmgr = TmThreadCreateMgmtThreadByName(name,
"FlowManager", 0);// 创建线程变量结构体
BUG_ON(tv_flowmgr == NULL);
if (tv_flowmgr == NULL) {
FatalError(SC_ERR_FATAL, "flow manager thread creation failed");
}
if (TmThreadSpawn(tv_flowmgr) != TM_ECODE_OK) { // 根据生成的线程名创建线程
FatalError(SC_ERR_FATAL, "flow manager thread spawn failed");
}
}
return;
}
②FlowRecyler线程:从回收队列中摘除Flow,调用注册流输出模块的回掉,清空Flow信息,插入回收队列。
③FlowWorker线程:
- 对于新到达的包,在流表中查找其对应Flow结构,若存在则直接引用
- 若流表中不存在对应此包的Flow结构,则按如下优先级获取一个新的Flow结构
- 从空闲队列中取出一个Flow结构
- 重新申请一个Flow结构
- 从流表中去除一个当前未被引用的Flow结构,清空其内容并重新插入流表
2.2 三种队列
Flow哈希表: 这个是FlowBucket *flow_hash 数组,数据大小为配置中的 flow_config 的 hash_size,其在数组中的每一个FlowBucket元素中都挂了一串之前数据包对应的Flow链队列。
Flow备用队列: static FlowSparePool *flow_spare_pool 备用池链队列,其每一个链pool中都挂载一个备用Flow队列。
Flow回收队列: FlowQueue flow_recycle_q 回收队列,挂载一个备用Flow队列。
2.3 Flow管理流程
①当一个数据包来到时,计算数据包对应的hash值
②在后续的模块中将使用这个hash 在Flow哈希表中找到 FlowBucket ,不同会话的hash值可能相同,所以不是比较hash相同来定位Flow,而是在篮子里顺序查找具有相同五元组和vlan的Flow,找到则利用此Flow
③若Flow哈希表中没有,则在Flow备用队列取出一个Flow, 或是新建一个Flow使用,同时把这个Flow插入到Flow哈希表