数据分析 | 频率编码和标签编码 | Python代码

最新推荐文章于 2024-08-19 20:50:49 发布

梨子串桃子

最新推荐文章于 2024-08-19 20:50:49 发布

阅读量485

点赞数 8

分类专栏：数据分析数学建模文章标签：数据分析 python 数据挖掘机器学习

本文链接：https://blog.csdn.net/L040514/article/details/134938120

版权

数学建模同时被 2 个专栏收录

15 篇文章 13 订阅

订阅专栏

数据分析

11 篇文章 3 订阅

订阅专栏

本文介绍了如何使用Python的pandas和sklearn库对网络入侵检测数据集进行标签编码（LabelEncoding）和频率编码（FrequencyEncoding），以便于后续机器学习模型的训练。作者首先读取Excel文件，然后分别对Attack_Types和protocol_type,service,flag列进行编码并保存为新的Excel文件。

摘要由CSDN通过智能技术生成

数据集见GitHub链接：https://github.com/ChuanTaoLai/Frequency-Encoding-And-Label-Encoding

标签编码：

import pandas as pd
from sklearn.preprocessing import LabelEncoder

data1 = pd.read_excel(r'D:\0文献整理\网络入侵检测\KDD99\KDDTrain.xlsx')
data2 = pd.read_excel(r'D:\0文献整理\网络入侵检测\KDD99\KDDTest_without_unkown.xlsx')

'''标签编码'''
label_encoder = LabelEncoder()
df1 = pd.DataFrame()
df2 = pd.DataFrame()

df1['Attack_Types'] = label_encoder.fit_transform(data1['Attack_Types'])
df2['Attack_Types'] = label_encoder.transform(data2['Attack_Types'])

df1.to_excel('KDDTrain_label_encoded.xlsx', index=False)
df2.to_excel('KDDTest_label_encoded.xlsx', index=False)

频率编码：

import pandas as pd

data1 = pd.read_excel(r'D:\0文献整理\网络入侵检测\KDD99\KDDTrain.xlsx')
data2 = pd.read_excel(r'D:\0文献整理\网络入侵检测\KDD99\KDDTest_without_unkown.xlsx')

df1 = data1[['protocol_type', 'service', 'flag']].copy()
df2 = data2[['protocol_type', 'service', 'flag']].copy()

'''频率编码'''
for col in df1.columns:
    df1[col + '_frequency_encoded'] = df1[col].map(df1[col].value_counts(normalize=True))

for col in df2.columns:
    df2[col + '_frequency_encoded'] = df2[col].map(df2[col].value_counts(normalize=True))

df1.to_excel('KDDTrain_frequency_encoded.xlsx', index=False)
df2.to_excel('KDDTest_frequency_encoded.xlsx', index=False)