【工作复盘2】2025年4月8日

今日工作复盘文档

今天的复盘主要总结了两方面的工作内容：图像分类模型的调整和加密流量分类的论文阅读。在图像分类部分，我基于ResNet-50模型进行了全参数训练和微调实验；在论文阅读部分，我整理了近三年的相关文献，并开始深入阅读《ET-BERT》这篇论文。本文档将详细回顾今日工作内容，分析实验结果，并提出指导意见，以明确后续改进方向。

---

图像分类模型调整

工作内容

• 全参数训练：基于预训练的ResNet-50模型，对所有参数进行训练，训练时长15个epoch。
• 微调：冻结ResNet-50模型的大部分层，仅对最后五层进行微调，训练时长5个epoch。

实验结果

• 全参数训练：
  • 训练集准确率从0.5700提升至0.8813，loss从1.1310下降至0.3307。
  • 验证集准确率从0.6957提升至0.9130（Epoch 4后趋于稳定），val_loss从0.5013下降至0.2770。
• 微调：
  • 训练集准确率从0.6513提升至0.9640，loss从0.9736下降至0.1201。
  • 验证集准确率从0.7826提升至0.8261（Epoch 2达到峰值），随后下降至0.6522，val_loss从0.4722上升至1.0207。

分析与指导意见

• 全参数训练：
  • 分析：模型表现良好，验证集准确率稳定在0.9130，val_loss持续下降，表明模型有效学习了数据特征且泛化能力较强。训练集准确率低于验证集，可能与数据量较小或训练集与验证集分布差异有关。
  • 指导意见：
    1. 数据增强：通过旋转、翻转、缩放等技术增加训练数据的多样性，提升模型对训练集的拟合能力。
    2. 学习率调整：尝试降低学习率（如从0.001降至0.0001），进一步优化loss。
    3. 早停策略：在val_loss下降变缓时停止训练，避免资源浪费。
• 微调：
  • 分析：训练集准确率提升显著，但验证集准确率在Epoch 2后下降，val_loss上升，表明模型过拟合。可能原因包括学习率过高、冻结层数过多或数据量不足。
  • 指导意见：
    1. 降低学习率：使用更小的学习率（如0.0001），缓慢调整参数，避免破坏预训练权重。
    2. 解冻更多层：尝试解冻更多层（如最后10层），提升模型表达能力。
    3. 正则化：在最后几层加入dropout（0.3-0.5）或L2正则化，减少过拟合。
    4. 缩短微调epoch：在val_loss上升前停止训练（如Epoch 2或3）。

---

论文阅读

工作内容

• 论文整理：整理了近三年CCF A类会议和期刊中与加密流量分类相关的论文，包括《Bottom Aggregating, Top Separating》、《MIETT》、《TrafficFormer》、《Yet Another Traffic Classifier》、《MT-FlowFormer》和《ET-BERT》。
• 论文阅读：开始阅读《ET-BERT》，已完成Abstract、Introduction和Related Work部分的阅读。

理解总结

• 背景：《ET-BERT》基于《PERT》改进，针对后者预训练未优化加密流量数据的不足。
• 改进目标：
  • 预训练任务：设计了两个预训练任务，考虑流量传输的结构模式和数据包载荷的双向关联。
  • 微调策略：提出了两种微调策略，以适应加密流量分类任务。

指导意见

• 后续阅读重点：
  1. 预训练任务的具体设计：
     • 明确“流量传输的结构模式”和“载荷的双向关联”的定义。
     • 分析预训练任务如何编码这些特性，是否引入领域知识。
  2. 微调策略的实现：
     • 理解两种微调策略的区别及其适用场景。
     • 分析微调如何利用预训练特征，是否结合流量元数据。
  3. 数据与实验验证：
     • 关注数据集、评估指标及与《PERT》等baseline的对比结果。
• 研究启发：
  • 探索在预训练中进一步挖掘流量数据特性（如TLS握手中的明文信息、包间隔时间）。
  • 根据任务需求（如实时分类 vs 离线分析）调整微调策略，提升实用性。

---

结论

今日工作在图像分类模型调整和论文阅读方面均取得进展。图像分类实验表明全参数训练效果优于微调，后续需通过数据增强和正则化进一步优化模型；论文阅读为加密流量分类研究提供了理论基础，后续需深入分析《ET-BERT》的技术细节并结合实验验证。未来工作将围绕模型优化和领域知识融合展开，以提升研究成果的实用性。

---