试图用深度学习的DBN模型,来处理流量特征数据集。
(1、选用公共数据集LiWeiDataset——SiteB.UDP.arff.gz,下载网址:http://www.cl.cam.ac.uk/research/srg/netos/projects/brasil/data/index.html
2、模型参考MNIST的DBN模型实现代码,下载地址:https://github.com/xiaohu2015/DeepLearning_tutorials/blob/master/models/dbn.py)
公共数据集的初步处理:数据集共774141个流,提取700000万作为室友数据集,并将数据集分为训练集(600000)和测试集(100000);其中训练集分为无监督训练集(550000)和验证训练集(50000)。
DBN模型的初步整理:由于参考的DBN模型的通用性,作为我的尝试性代码不需要所有的代码模块,为了代码目的性更清晰易懂,我通过尝试性地删减代码,并保证最终的代码模块仍然能够完整成功的实现 mnist 的分类,最后整理了我所需的代码模块实际上可以就用以下4个 .py 文件,并删除了文件中不必要的代码,方便后续直接明确的对代码进行修改:
第一步:导入数据集到DBN模型,是否成功跑通
1、试探性的套用模型,所以先选取数据集中的一部