自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(48)
  • 收藏
  • 关注

原创 周报2024、9、8

实现新实验架构,结合了多尺度的特征,正在跑预训练。修改邵老师给的实验代码。

2024-09-08 09:31:27 80

原创 周报_2024/9/1

2.设计新实验架构,融合主机级、流级统计特征和包级原始数据。1.为模型融入TTT层重复实验。

2024-09-01 08:35:15 138

原创 周报_2024/8/25

融入TTT层,做对比实验。

2024-08-25 09:24:51 215

原创 周报_2024/8/18

修改了et-bert的微调代码,使用et-bert模型在ISCX-botnet数据集的训练集部分做多分类预测,目前效果:5分类任务,acc=0.9938 (930082/935928)2.处理数据集做成二分类任务,并在test集合中的恶意流量中加入train集中没有的恶意流量类别,预期模型效果一定程度上下降。1.做实验对比et-bert原论文中的数据处理方法和目前自己使用的数据处理方法对分类结果的影响。3.替换模型中的transformer模块。

2024-08-18 09:30:35 135

原创 周报_2024/8/11

使用et-bert在iscx2014数据集上预测。修改et-bert源码。

2024-08-11 09:26:36 249

原创 周报_2024/8/3

使用BERT在原始流量上做分类预测,效果不好。对比别人的论文源码后发现模型结构有问题。对照别人的论文源码修改模型,实现初步效果。

2024-08-03 23:14:08 288

原创 周报_2024/5/5

给邵老师的项目挖掘不同来源的数据的周期性关系汇成表格,制作流量时序特征和统计特征图。使用tokenizers生成网络流量语料库。熟悉商品、购物车模块的逻辑。

2024-05-05 21:24:55 251

原创 周报_2024/4/28

尝试几种特征筛选方法得出的多种特征子集,默认模型效果提升明显但是问题依然存在,且使用特征筛选后triplet loss效果提升不明显。正在给邵老师的项目做周期性模式挖掘,本周构造了周期数据。重新构造了数据集,保留了流级数据的特征和时序特征。

2024-04-28 19:36:33 266

原创 周报_2024/4/21

结果表明triplet loss + 正则对处理概念漂移有利。使用互信息法进行特征筛选,对模型提升较为明显。测试常见聚类算法在数据集上的效果,效果很差。修复客服系统会话管理功能已知的bug。客服系统自动回复增加关键字匹配功能。调研处理概念漂移的方法。

2024-04-21 20:29:13 173

原创 周报_2024/4/14

阅读论文《An efficient feature generation approach based on deep learning and。批量实验各种超参数组合。

2024-04-14 18:03:55 294

原创 周报_第四十七周

整理实验后发现在多次实验下triplet loss带来的平均提升无法与L1等传统抗过拟合方法拉开差距,之前的实验阶段triplet loss提升较大可能是由于实验次数不够出现的偶然现象。目前在多尝试超参数组合并选择结果较好的实验。

2024-03-31 20:44:41 220

原创 周报_第四十六周

模型优化基本完成,正在做对比实验整理实验结果。客服系统实现固定问题自动回复功能。

2024-03-24 17:22:46 226

原创 周报_第四十五周

将使用triplet loss预训练的模型和最终进行分类的模型结合成多输出模型,两个模型分开训练都没问题,但是结合后loss计算上有bug花了较多时间还没解决。持续调整模型结构尝试获取更好的效果。

2024-03-18 09:28:21 257

原创 周报_第四十四周

通过使用triplet loss预训练以及调整模型参数和结构提升在测试集上的预测效果:目前最好效果:使用triplet loss前后的效果对比:暂无。

2024-03-10 22:28:31 173

原创 周报_第四十三周

实现triplet loss改善模型,代码还在调整。实现客服系统消息存储模块。

2024-03-03 19:43:54 201

原创 周报三十四周

设计实验demo验证在真实数据中做实验发现的一个规律引发的idea(和邵老师讨论后认为idea是成立的)理解ETBERT代码(没看完)

2023-12-31 17:57:29 352

原创 周报_第三十三周

2.读完《ET-BERT A Contextualized Datagram Representation with Pre-training Transformers for Encrypted Traffic Classification》1.分析之前实验用的代码中计算结果对各个特征的梯度的代码(这段代码是网上找的虽然能用但是之前不知道里面具体原理)

2023-12-24 19:21:07 432

原创 周报_第三十二周

读《ET-BERT A Contextualized Datagram Representation with Pre-training Transformers for Encrypted Traffic Classification》

2023-12-17 21:18:13 478

原创 周报_第三十一周

读《ET-BERT A Contextualized Datagram Representation with Pre-training Transformers for Encrypted Traffic Classification》找出预测效果好和差的botnet种类,分析不同botnet种类预测效果不同的原因。开发后台管理系统的统一令牌认证功能供客服系统的客服令牌认证调用。处理客服系统用户认证的一些bug。

2023-12-10 21:16:32 472

原创 周报_第三十周

分析原因:查询数据集中包含的botnet种类发现,ISCX_train和CTU中包含的botnet种类较为接近,而ISCX_test中包含许多ISCX_train和CTU中没有的botnet种类。预处理CTU数据,将其黑白数据占比调整至与ISCX_test一致,使用ISCX_train训练出的模型在CTU预测,对比CTU和ISCX_test的预测结果。实验结果:在ISCX_train集上训练出来的两种模型在ISCX_test集上效果难以提升,但是在CTU上反而效果很好,与之前猜测的结果相反。

2023-12-03 19:33:27 435

原创 周报_第二十九周

分析和选择log文件中的特征,将TCP基础信息中的文本特征为数值特征。使用mlp进行预测,调整模型结构和参数改善f1值和过拟合现象。学习websocket连接进行用户认证的方法。客服系统添加令牌认证功能。

2023-11-26 19:34:38 426

原创 周报_第二十八周

在ISCX和CTU上使用会话粒度、ip对粒度数据训练模型和预测,对比结果后数据粒度定为ip对粒度。分析和选择部分log文件中特征价值。处理文本数据为数值型数据。简单实现在线客服模块。

2023-11-19 20:21:59 103

原创 周报_第二十七周

预处理CTU13数据集,发现里面源ip太少不能像ISCX那样按源ip聚合数据,正在尝试其它方式。预处理ISCX数据集,使用深度学习模型进行预测,取得0.99以上准确度。测试后台管理系统的登录、注册相关接口。

2023-11-13 19:46:08 98

原创 周报_第二十六周

熟悉后端管理系统的代码。完成智能实训项目学习。

2023-11-05 20:21:49 66

原创 周报_第二十五周

分析实训项目中样本数据的zeek处理后的.log文件,构造会话级样本集。实现获取用户信息拦截器。

2023-10-29 19:13:04 110

原创 周报_第二十四周

实现前台系统用户登录和验证登录状态功能。智能实训学习到第二阶段30%

2023-10-23 19:45:10 57

原创 周报_第二十三周

智能实训第一阶段学习80%完成短信验证码注册接口。

2023-10-15 20:39:06 115

原创 周报_第二十二周

论文代码比较难找。

2023-10-08 19:22:34 47

原创 周报_第二十一周

2.处理认证模块遇到的BUG,继续编写认证模块。1.统计ISCX数据集的黑白数据占比等指标。4.处理部分认证模块编写中出现的BUG。3.将数据集处理为可输入模型的格式。2.分割ISOT数据集。1.在数据集上构建模型。

2023-10-01 20:39:27 85

原创 周报_第二十周

暂无。

2023-09-24 20:50:54 92 1

原创 周报_第十九周

数据标签和特征在不同的文件,且没有和特征数据对应的uid字段,只能用包括ip、端口等字段在内五元组进行映射,但标签数据中存在五元组重复但标签不同的情况。目前正在尝试将标签全部处理为二分类标签后再看还有没有上述情况。

2023-09-17 20:59:33 167 1

原创 周报_第十八周

解析pcap格式数据集有困难。

2023-09-10 20:47:11 150 1

原创 周报_第十七周

1.做入侵检测二分类的精确度上不去,试过多种网络结构和超参数的组合但效果依旧不好,大概率是数据预处理不够到位。1.复习 动手学深度学习pytorch自然语言处理的两张,看相关视频进行理解。3.论文理解起来有困难,里面用到的bert遗忘较多,需要下周着重复习。2.电脑主板出现故障,售后正在调新主板,大概要一周。1.在UNSW-NB15数据集上做入侵检测二分类。时间:2023.8.27~2023.9.2。2.研读文章ET-BERT,理解行文思路。2.继续研读ET-BERT文章。

2023-09-03 20:48:23 163

原创 基础阶段计划周报_第十六周

第十六周:2023.8.21—2023.8.27。

2023-08-28 14:45:07 121

原创 基础阶段计划周报_第十五周

第十五周:2023.8.14—2023.8.20。

2023-08-20 19:17:40 138 1

原创 基础阶段计划周报_第十四周

第十四周:2023.8.7—2023.8.13。

2023-08-13 19:33:25 137 1

原创 基础阶段计划周报_第十三周

第十三周:2023.7.31—2023.8.6。

2023-08-06 19:16:01 95

原创 基础阶段计划周报_第十二周

第十二周:2023.7.24—2023.7.30。

2023-07-30 19:54:01 130 1

原创 基础阶段计划周报_第十一周

第十一周:2023.7.17—2023.7.23。

2023-07-24 12:34:15 109

原创 基础阶段计划周报_第十周

第十周:2023.7.10—2023.7.16。

2023-07-17 12:22:04 117 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除