入侵检测阅读论文（下）(2)，网络安全系统工程师面试题

最新推荐文章于 2024-10-04 01:18:09 发布

m0_60634964

最新推荐文章于 2024-10-04 01:18:09 发布

阅读量483

点赞数 13

分类专栏： 2024年程序员学习文章标签： web安全安全

本文链接：https://blog.csdn.net/m0_60634964/article/details/137532448

版权

2024年程序员学习专栏收录该内容

264 篇文章 1 订阅

订阅专栏

→

←

y_t=W_{\overrightarrow{h}y}\overrightarrow{h_t}+W_{\overleftarrow{h}y}\overleftarrow{h_t}+b_y

yt=Wh

yht

+Wh

yht

+by (3)

数据集

本系统实现使用了NLS-KDD数据集，该数据集是用来评估入侵检测系统的标准数据集之一,是著名的KDD99数据集的修订版本.由四个子数据集组成:KDDTest+、KDDTest-21、KDDTrain+、KDDTrain+_20Percent.其中KDDTest-21和KDDTrain+_20Percent是KDDTrain+和KDDTest+的子集.数据集每条记录包含 43 个特征,如表1所示.其中41个特征指的是流量输入本身,最后两个是标签(正常或攻击)和分数(流量输入本身的严重性).
数据集下载地址： NLS-KDD
在这里插入图片描述
该数据集中包括了4种不同类型的攻击:拒绝服务(Denial of service,DoS)、探测(probe)、用户到根(U2R) 和远程到本地(R2L).同时每种攻击又包含了多种子类型,具体如表2所示。

数据集中数据分布情况如表3所示。

数据预处理

数据归一化及标签编码
由上面的数据集描述可知,NLS-KDD数据集中有三个非数值型的特征,分别是协议类型、服务和标志.但是由于本文所使用的深度学习模型BiDLSTM和LSTM只能处理数值型数据,因此在进行模型训练之前必须进行数据预处理:将非数值型数据转化为数值型数据.特征缩放可以确保数据集处于标准化形式,本文使用了sklearn库进行数据归一化，使用 Min–Max 缩放将每个特征的值缩放到 (0, 1) 范围内。
最小-最大特征缩放的表达式如下：

′

−

z^{'} =\frac{X-X_{min}}{X_{max}-X_{min}}

z′=Xmax−XminX−Xmin
实现代码：

from sklearn import preprocessing
import numpy as np

原始数据X_train

df = pd.read_csv(filename, header=None)
X_train = df.iloc[:, :df.shape[1] - 1] # pandas中的iloc切片是完全基于位置的索引
labels = df.iloc[:, df.shape[1] - 1:]

初始化数据预处理器，本例中为最小最大值缩放

scaler = MinMaxScaler().fit(X_train)
X_train= scaler.transform(X_train)

数据增强
由于数据集中存在样本不平衡问题，本系统使用了SMOTE过采样技术处理数据。
实现代码：

test_data_filename = “/nls-kdd/datasest/KDDTest+.csv”
X_test1,y_test1=load_data(test_data_filename)
smo = SMOTE(random_state=42)
X_test1, y_test1 = smo.fit_resample(X_test1, y_test1)

BiLSTM模型设计

本系统的BiLSTM模型的各层总结如下：
在这里插入图片描述
二分类实现代码：

bidLSTM

model = Sequential()
model.add(Bidirectional(LSTM(n_hidden, return_sequences=True), input_shape=(41,1)))#
model.add(Dropout(0.2))
model.add(Bidirectional(LSTM(32, return_sequences=True)))
model.add(Dropout(0.2))
model.add(Dense(64, activation=‘sigmoid’))
model.add(Dropout(0.2))
model.add(Dense(32, activation=‘sigmoid’))
model.add(Dropout(0.2))
model.add(Flatten())
model.add(Dense(1, activation=‘sigmoid’))
model.compile(loss=‘binary_crossentropy’, optimizer=‘adam’, metrics=[‘acc’])
print(model.summary())

多分类实现代码：

bidLSTM

model = Sequential()
model.add(Bidirectional(LSTM(n_hidden, return_sequences=True), input_shape=(41,1)))#
model.add(Dropout(0.2))
model.add(Bidirectional(LSTM(32, return_sequences=True)))
model.add(Dropout(0.2))
model.add(Dense(64, activation=‘sigmoid’))
model.add(Dropout(0.2))
model.add(Dense(32, activation=‘sigmoid’))
model.add(Dropout(0.2))
model.add(Flatten())
model.add(Dense(5, activation=‘softmax’)) #n_classes，输出维度
model.compile(loss=‘categorical_crossentropy’, optimizer=‘adam’, metrics=[‘acc’])

二分类系统完整代码

二分类检测的完整代码实现如下所示：

import numpy as np
from numpy import float32,int32
np.random.seed(42)
import tensorflow as tf
from keras.layers import TimeDistributed
from keras.layers import Bidirectional

tf.set_random_seed(42)
#线程等设置
session_conf = tf.ConfigProto(
intra_op_parallelism_threads=1,
inter_op_parallelism_threads=1
)
from keras import backend as K
sess = tf.Session(graph=tf.get_default_graph(), config=session_conf)
K.set_session(sess)
from keras.models import Sequential
from keras.layers import LSTM
from keras.layers import Dense, Dropout,Flatten
#from data import load_data
from sklearn.preprocessing import Normalizer
from utils import confusion_matrix
from keras.callbacks import TensorBoard, ModelCheckpoint
import os
import matplotlib.pyplot as plt
from sklearn import metrics
from sklearn.preprocessing import OneHotEncoder