suricata源码解析

SCInstanceInit

初始化suricata实例：程序名设置为程序文件名，其他变量复位。

InitGlobal

int InitGlobal(void)
{
	//调用rust代码初始化context
    rs_init(&suricata_context);
	//初始化引擎状态：
    SC_ATOMIC_INIT(engine_stage);

    /* initialize the logging subsys */
    //包括日志级别、日志格式、日志输出接口(默认屏幕)、日志输出过滤
    //后面还会用配置重新初始化一遍日志模块
    SCLogInitLogModule(NULL);
    //设置进程名，及ps看到的名字
    SCSetThreadName("Suricata-Main");

    /* Ignore SIGUSR2 as early as possible. We redeclare interest
     * once we're done launching threads. The goal is to either die
     * completely or handle any and all SIGUSR2s correctly.
     */
#ifndef OS_WIN32
    UtilSignalHandlerSetup(SIGUSR2, SIG_IGN);
    if (UtilSignalBlock(SIGUSR2)) {
        SCLogError("SIGUSR2 initialization error");
        return EXIT_FAILURE;
    }
#endif
	//初始化解析size的pcre正则表达式，用于解析xkb、xMB、xGb等
    ParseSizeInit();
    //注册运行模式
    RunModeRegisterRunModes();

    /* Initialize the configuration module. */
    //只是将配置模块初始化为一个尾队列
    ConfInit();

    return 0;
}

- RunModeRegisterRunModes

注册所有的运行模式
运行模式结构体：

/* Run mode */
enum RunModes {
    RUNMODE_UNKNOWN = 0,
    RUNMODE_PCAP_DEV,
    RUNMODE_PCAP_FILE,
    RUNMODE_PFRING,
    RUNMODE_NFQ,
    RUNMODE_NFLOG,
    RUNMODE_IPFW,
    RUNMODE_ERF_FILE,
    RUNMODE_DAG,
    RUNMODE_AFP_DEV,
    RUNMODE_AFXDP_DEV,
    RUNMODE_NETMAP,
    RUNMODE_DPDK,
    RUNMODE_UNITTEST,
    RUNMODE_NAPATECH,
    RUNMODE_UNIX_SOCKET,
    RUNMODE_WINDIVERT,
    RUNMODE_PLUGIN,
    RUNMODE_USER_MAX, /* Last standard running mode */
    RUNMODE_LIST_KEYWORDS,
    RUNMODE_LIST_APP_LAYERS,
    RUNMODE_LIST_RUNMODES,
    RUNMODE_PRINT_VERSION,
    RUNMODE_PRINT_BUILDINFO,
    RUNMODE_PRINT_USAGE,
    RUNMODE_DUMP_CONFIG,
    RUNMODE_CONF_TEST,
    RUNMODE_LIST_UNITTEST,
    RUNMODE_ENGINE_ANALYSIS,
#ifdef OS_WIN32
    RUNMODE_INSTALL_SERVICE,
    RUNMODE_REMOVE_SERVICE,
    RUNMODE_CHANGE_SERVICE_PARAMS,
#endif
    RUNMODE_DUMP_FEATURES,
    RUNMODE_MAX,
};
typedef struct RunMode_ {
    /* the runmode type */
    enum RunModes runmode;
    const char *name;//定制模式的名字，主要有single、workers、autofp
    const char *description;
    /* runmode function */
    int (*RunModeFunc)(void);//运行模式的入口函数
    void (*RunModeIsIPSEnabled)(void);
} RunMode;

typedef struct RunModes_ {
    int cnt;
    RunMode *runmodes;
} RunModes;

static RunModes runmodes[RUNMODE_USER_MAX];

ParseCommandLine

解析命令行

FinalizeRunMode

检查运行模式设置是否已设置，并确保suricata后台模式(daemon)下不能运行RUNMODE_PCAP_FILE、RUNMODE_UNITTEST两种运行模式。

StartInternalRunMode

启动内部运行模式，主要包括RUNMODE_LIST_KEYWORDS、RUNMODE_LIST_APP_LAYERS、RUNMODE_PRINT_VERSION、RUNMODE_PRINT_BUILDINFO、RUNMODE_PRINT_USAGE、RUNMODE_LIST_RUNMODES、RUNMODE_LIST_UNITTEST、RUNMODE_UNITTEST这几个运行模式，运行完响应的处理函数，直接退出程序。

GlobalsInitPreConfig

Initializations for global vars, queues, etc (memsets, mutex init…)

void GlobalsInitPreConfig(void)
{
	//初始化时间锁和时区
    TimeInit();
    //Registers the keywords(SMs) that should be given fp support.
    //g_fp_support_smlist_list：存储单模匹配链表ID和优先级的对应关系，单模匹配链表ID类型为enum DetectSigmatchListEnum
    SupportFastPatternForSigMatchTypes();
    //初始化解析阈值规则的相关正则表达式
    SCThresholdConfGlobalInit();
    //初始化一个哈希表，用于存储协议名和协议号的对应关系
    SCProtoNameInit();
    //
    FrameConfigInit();
}

LoadYamlConfig

从suricata.yaml加载配置到内存

SetupUserMode

这个是设置非system模式的情况下，把日志和数据目录设置到当前目录；suricata有system模式和user模式

InitRunAs

Initialize the user and group Suricata is to run as。即初始化suricata运行的用户名和组名

SCLogLoadConfig

读取logging.outputs配置节点，调用SCLogInitLogModule重新初始化日志模块

LogVersion

打印suricata版本和模式(user模式或system模式)

UtilCpuPrintSummary

Print a summary of CPUs detected (configured and online)。
sysconf(_SC_NPROCESSORS_CONF)返回系统可以使用的核数，但是其值会包括系统中禁用的核的数目，因此该值并不代表当前系统中可用的核数。而 sysconf(_SC_NPROCESSORS_ONLN)的返回值真正的代表了系统当前可用的核数.

ParseInterfacesList

根据运行模式，从配置读取网卡名或者设置网卡配置：
对于RUNMODE_PCAP_DEV、RUNMODE_DPDK：如果命令行未设置网卡，则从配置读取网卡名，存到设备名链表pre_live_devices。
对于RUNMODE_PFRING：将从命令行读取的网卡名存到配置节点pfring.live-interface

PostConfLoadedSetup

This function is meant to contain code that needs to be run once the configuration has been loaded.即加载完配置后首先运行这个函数。

• MpmTableSetup：注册多模匹配算法，包括AC、ACBS、ACTile
• SpmTableSetup：注册单模匹配算法，包括BM、hyperscan
• StorageInit：初始化Storage，结构体如下：

typedef struct StorageMapping_ {
    const char *name;
    StorageEnum type; // host, flow, tx, stream, ssn, etc
    unsigned int size;
    void *(*Alloc)(unsigned int);
    void (*Free)(void *);
} StorageMapping;

/** \brief list of StorageMapping used at registration time */
typedef struct StorageList_ {
    StorageMapping map;
    int id;
    struct StorageList_ *next;
} StorageList;

static StorageList *storage_list = NULL;
static int storage_max_id[STORAGE_MAX];
static int storage_registration_closed = 0;
static StorageMapping **storage_map = NULL;

• RegisterFlowBypassInfo：注册一个名为bypass_counters的FlowStorage
• MacSetRegisterFlowStorage：在eve日志开启ethernet开关时，注册一个名为macset的FlowStorage
• SetMasterExceptionPolicy：设置主异常策略，异常策略有：

enum ExceptionPolicy {
    EXCEPTION_POLICY_NOT_SET = 0,
    EXCEPTION_POLICY_PASS_PACKET,
    EXCEPTION_POLICY_PASS_FLOW,
    EXCEPTION_POLICY_BYPASS_FLOW,
    EXCEPTION_POLICY_DROP_PACKET,
    EXCEPTION_POLICY_DROP_FLOW,
    EXCEPTION_POLICY_REJECT,
};

• LiveDeviceFinalize：前面获取了网卡名，这里创建对应的网卡设备信息，结构体如下：

/** storage for live device names */
typedef struct LiveDevice_ {
    char *dev;  /**< the device (e.g. "eth0") */
    char dev_short[MAX_DEVNAME + 1];
    bool tenant_id_set;

    int id;

    SC_ATOMIC_DECLARE(uint64_t, pkts);
    SC_ATOMIC_DECLARE(uint64_t, drop);
    SC_ATOMIC_DECLARE(uint64_t, bypassed);
    SC_ATOMIC_DECLARE(uint64_t, invalid_checksums);
    TAILQ_ENTRY(LiveDevice_) next;

    uint32_t tenant_id;     /**< tenant id in multi-tenancy */
    uint32_t offload_orig;  /**< original offload settings to restore @exit */
} LiveDevice;

• RunModeEngineIsIPS：前面注册了运行模式，这里根据命令行设置最终的运行模式
• AppLayerSetup：

/***** Setup/General Registration *****/

int AppLayerSetup(void)
{
    SCEnter();
	//初始化应用层协议检测context(主要是初始化单模匹配算法、多模匹配算法)
	//注册名为expectation的IPPairStorage和FlowStorage
    AppLayerProtoDetectSetup();
    //memset AppLayerParserCtx
    AppLayerParserSetup();
	//注册应用层处理函数
    AppLayerParserRegisterProtocolParsers();
    //SSL和IMAP在注册协议处理函数时，会注册一些模式匹配填充到alpd_ctx。这里将注册的模式填充到多模匹配总表mpm_table
    AppLayerProtoDetectPrepareState();
    //设置每个应用层协议计数器的名字
    /*typedef struct AppLayerCounterNames_ {
    char name[MAX_COUNTER_SIZE];
    char tx_name[MAX_COUNTER_SIZE];
    char gap_error[MAX_COUNTER_SIZE];
    char parser_error[MAX_COUNTER_SIZE];
    char internal_error[MAX_COUNTER_SIZE];
    char alloc_error[MAX_COUNTER_SIZE];
} AppLayerCounterNames;*/
    AppLayerSetupCounters();

    SCReturnInt(0);
}

• ConfigGetCaptureValue

获取与包捕获相关的一些配置参数，目前包括：max-pending-packets、default-packet-size

• SCHInfoLoadFromConfig

从配置文件中载入host os policy(主机OS策略)信息，
radix tree保存所有主机策略信息。网络入侵通常是针对某些特定OS的漏洞，因此如果能够获取部署环境中主机的OS信息，肯定对入侵检测大有裨益。

• SigTableSetup

注册检测引擎所支持的规则格式中的关键字，比如sid、priority、msg、within、distance等等

• SigTableApplyStrictCommandlineOption

为指定的检测关键字设置严格匹配。

• TmqhSetup

初始化queue handler（队列处理函数），这个是衔接线程模块和数据包队列之间的桥梁，这里注册了3类handler：simple, packetpool, flow。每类handler内部都有一个InHandler和OutHandler，simple和flow的InHandler都是从inQueue队列中获取数据包，simple的OutHandler将数据包送入outQueue。packetpool的InHandler从packetpool获取数据包，OutHandler将数据包送入packetpool。

• TagInitCtx

注册名为tag的HostStorage和FlowStorage

• PacketAlertTagInit

初始化了tag signature和 tag packet alert structure。
tag signature we use for tag alerts。
tag packet alert structure for tag alerts。
tag signature 的sid为1.

• ThresholdInit

注册名为threshold的HostStorage和IPPairStorage

• HostBitInitCtx

注册名为bit的HostStorage

• IPPairBitInitCtx

注册名为bit的IPPairStorage

• DetectAddressTestConfVars

检测配置文件里面的address-groups配置是否正确

• DetectPortTestConfVars

检测配置文件里面的port-groups配置是否正确

• FeatureTrackingRegister

初始化feature_hash_table

• RegisterAllModules

注册所有线程模块

• AppLayerHtpNeedFileInspection

Sets a flag that informs the HTP app layer that some module in the engine needs the http request file。即设置htp_config_flags，有4个flag：HTP_REQUIRE_REQUEST_BODY、HTP_REQUIRE_REQUEST_MULTIPART、HTP_REQUIRE_REQUEST_FILE、HTP_REQUIRE_RESPONSE_BODY

• StorageFinalize

前面注册了一些storage，存储在StorageList。这里将其挪到StorageMapping，即注册时采用链表数组形式，为了实现快速查找，将其挪到二维数组里，可通过type:id快速访问对应的storage

• TmModuleRunInit

前面注册了各个线程模块，这里对每个模块进行初始化

• MayDaemonize

检查是否进入Daemon模式。若需要进入Daemon模式，则会检测pidfile是否已经存在（daemon下只 能有一个实例运行），然后进行Daemonize，最后创建一个pidfile。Daemonize的主要思路是：fork->子进程调用 setsid创建一个新的session，关闭stdin、stdout、stderr，并告诉父进程 –> 父进程等待子进程通知，然后退出 –> 子进程继续执行。

• InitSignalHandler

初始化信号handler。首先为SIGINT（ctrl-c触发）和SIGTERM（不带参数kill时触发）这两个常规退出信号分别注册handler，对SIGINT的处理是设置程序的状态标志为STOP，即让程序优雅地退出；而对SIGTERM是设置为KILL，即强杀。接着，程序会忽略SIGPIPE（这个信号通常是在Socket通信时向已关闭的连接另一端发送数据时收到）和SIGSYS（当进程尝试执行一个不存在的系统调用时收到）信号，以加强程序的容错性和健壮性。

• ConfigGetLogDirectory

获取程序日志目录

• ConfigCheckLogDirectoryExists

检查日志目录是否存在

• IsLogDirectoryWritable

检查日志目录是否可写

• HostInitConfig

initializing host engine：读取配置文件host节点的hash-size, prealloc, memcap配置，初始化大小为hash-size、元素为HostHashRow的hash，并预分配prealloc个Host，放在host_spare_q里面。

• CoredumpLoadConfig

Configures the core dump size

• DecodeGlobalConfig

加载解码器decoder配置，设置packet_alert_max(后面会分配packet_alert_max个PacketAlert)

• PostConfLoadedSetupHostMode

设置Host mode: set if box is sniffing only or is a router

• PreRunInit

/* initialization code for both the main modes and for
 * unix socket mode.
 *
 * Will be run once per pcap in unix-socket mode */
void PreRunInit(const int runmode)
{
	//初始化一个名为byterange的hash，不知道干啥用的
    HttpRangeContainersInit();
    if (runmode == RUNMODE_UNIX_SOCKET)
        return;
	//初始化stats_ctx：Holds the output interface context for the counter api
    StatsInit();
#ifdef PROFILING
    SCProfilingRulesGlobalInit();
    SCProfilingKeywordsGlobalInit();
    SCProfilingPrefilterGlobalInit();
    SCProfilingSghsGlobalInit();
    SCProfilingInit();
#endif /* PROFILING */
	//初始化IP分片重组模块
    DefragInit();
    //初始化flow_hash
    FlowInitConfig(FLOW_QUIET);
    //初始化ippair_hash
    IPPairInitConfig(FLOW_QUIET);
    //初始化Stream TCP配置。其中调用了StreamTcpReassembleInit函数进行重组模块初始化
    StreamTcpInitConfig(STREAM_VERBOSE);
    //为流深度设置一个默认值
    AppLayerParserPostStreamSetup();
    // 注册应用层全局计数器
    AppLayerRegisterGlobalCounters();
    //Register a file data output module
    OutputFilestoreRegisterGlobalCounters();
}

SCDropMainThreadCaps

去除主线程的权限。这个是通过libcap-ng实现的，首先调用capng_clear清空所有权限，然后根据运行模式添加一些必要权限（主要是为了抓包），最后调用capng_change_id设置新的uid和gid。主线程的权限应该会被新建的子线程继承，因此只需要在主线程设置即可。

CoredumpEnable

Enable coredumps on systems where coredumps can and need to be enabled.

PreRunPostPrivsDropInit

/* tasks we need to run before packets start flowing,
 * but after we dropped privs */
void PreRunPostPrivsDropInit(const int runmode)
{
	//Initializes stats context
    StatsSetupPostConfigPreOutput();
    //Initialize the output modules
    //前面注册线程模块时注册了日志模块，这里初始化输出日志模块，并激活
    RunModeInitializeOutputs();
    DatasetsInit();

    if (runmode == RUNMODE_UNIX_SOCKET) {
        /* As the above did some necessary startup initialization, it
         * also setup some outputs where only one is allowed, so
         * deinitialize to the state that unix-mode does after every
         * pcap. */
        PostRunDeinit(RUNMODE_PCAP_FILE, NULL);
        return;
    }

    StatsSetupPostConfigPostOutput();
}

PostConfLoadedDetectSetup

void PostConfLoadedDetectSetup(SCInstance *suri)
{
    DetectEngineCtx *de_ctx = NULL;
    if (!suri->disabled_detect) {
    	//初始化解析规则classtype的正则表达式
        SCClassConfInit();
        //初始化解析reference的正则表达式
        SCReferenceConfInit();
        //设置是否延迟检测。若delayed-detect为yes，则系统将在载入规则集之前就开始处理数据包，这样能够在IPS模式下减少系统的down time（宕机时间）
        SetupDelayedDetect(suri);
        int mt_enabled = 0;
        (void)ConfGetBool("multi-detect.enabled", &mt_enabled);
        int default_tenant = 0;
        if (mt_enabled)
            (void)ConfGetBool("multi-detect.default", &default_tenant);
        if (DetectEngineMultiTenantSetup(suri->unix_socket_enabled) == -1) {
            FatalError("initializing multi-detect "
                       "detection engine contexts failed.");
        }
        if (suri->delayed_detect && suri->run_mode != RUNMODE_CONF_TEST) {
            de_ctx = DetectEngineCtxInitStubForDD();
        } else if (mt_enabled && !default_tenant && suri->run_mode != RUNMODE_CONF_TEST) {
            de_ctx = DetectEngineCtxInitStubForMT();
        } else {
            de_ctx = DetectEngineCtxInit();
        }
        if (de_ctx == NULL) {
            FatalError("initializing detection engine failed.");
        }

        if (de_ctx->type == DETECT_ENGINE_TYPE_NORMAL) {
            if (LoadSignatures(de_ctx, suri) != TM_ECODE_OK)
                exit(EXIT_FAILURE);
        }

        gettimeofday(&de_ctx->last_reload, NULL);
        DetectEngineAddToMaster(de_ctx);
        DetectEngineBumpVersion();
    }
}

SCSetStartTime

设置suricata开始时间

RunModeDispatch

获取suricata运行模式，调用对应的运行模式函数，创建flow管理线程(只有一个FlowManager模块)、flow回收线程(只有一个FlowRecycler模块)、StatsWakeupThread、StatsMgmtThread

TmThreadWaitOnThreadInit

等待所有线程初始化完成

SC_ATOMIC_SET(engine_stage, SURICATA_RUNTIME);

设置引擎状态为RUNTIME

PacketPoolPostRunmodes

Set the max_pending_return_packets value

TmThreadContinueThreads

Un-pause all the paused threads

TmThreadWaitOnThreadRunning

Waits for all threads to be in a running state

PostRunStartedDetectSetup

注册信号处理函数，重新加载检测引擎