数据处理：巧用Excel去重IDS规则-CSDN博客

本文链接：https://blog.csdn.net/M110K/article/details/112486269

近期在IDS-suricata规则整理工作中，遇到规则对比去重的问题，特此记录一下我的解决之法，以供参考。

前述

众所周知，开源IDS-suricata是一款开源高性能的入侵检测系统，并支持ips(入侵防御)与nsm(网络安全监控)模式，用来替代原有的snort入侵检测系统，完全兼容snort规则语法和支持lua脚本。具体入门知识，参考安全脉搏上的文章：Suricata IDS 入门 — 规则详解
在此，先列举一个典型规则

(msg:"INDICATOR-SHELLCODE  heapspray characters detected - ASCII     "; flow:to_client,established; file_data; content:"0d0d0d0d";  fast_pattern:only; metadata:service ftp-data, service http,service imap, service  pop3;  reference:url,sf-freedom.blogspot.com/2006/07/heap-spraying-internet-exploiter.html;  classtype:attempted-user; sid:33339; rev:1;)

去重准备

去重最重要的就是找唯一对比值
从上述文章中可知在每条规则的特定字段

sid：用于唯一性规则标识，sid不能重复

因此，去重就要先提取出每一条规则的sid值
贴上python脚本代码：

# coding=utf-8
import re

f_rule = open('.\\scan+trojan+worm.rules','r')#需要提取的规则文件
f_rule_readlines = f_rule.readlines()#读取所有行，返回列表

for i in range(0,5584):#文件总行数
    #print f_rule_readlines[i]
    p=re.search(r'sid:[\d]+',f_rule_readlines[i])#从每一行内容匹配特定字符

    if p==None:
        newRule='null'
    else:
        newRule=p.group()

    print (newRule)