![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
paper研读
文章平均质量分 80
一起学习新知识吧
贝壳er
记录和学习
展开
-
【异常检测】XGBOD:用无监督表示学习改进有监督异常检测
论文来自于IJCNN 2018,本身结合有监督和无监督的思路比较直接,作为一个移植性比较好的框架,可以去尝试替换原论文中的一些Component,比如用更快的lightgbm替换xgboost,或者在无监督特征工程上尝试更多的组合。论文链接无监督模型包括基于计算特征相似度,基于密度估计等方法。不同的模型学习到的是不同的数据模式,根据模型的打分去判断样本的异常程度,这里的分数其实体现了无监督模型本身的一个feature engineering的过程。作者针对有label的异常检测数据,使用无监督的方法.原创 2021-02-05 17:18:55 · 2377 阅读 · 0 评论 -
【异常检测】DAGMM:结合深度自编码器器和GMM的端到端无监督网络(二):代码实战(PyTorch)
代码部分基于PyTorch1.6.0,使用网络入侵异常检测数据集KDDCUP99来训练和评测,完整代码见:GitHub。文章目录1.网络部分:2.GMM参数计算:3.似然函数和总体损失的计算:4.KDDCUP99数据集预处理和划分:5.完整代码1.网络部分:网络部分的实现较为简单,基本上就是DAE结构接一个全连接结构,最后输出一个softmax Tensor。要注意好Compression network和Estimation network的输入输出的Tensor shape:class D.原创 2021-01-30 17:13:18 · 1752 阅读 · 3 评论 -
【异常检测】DAGMM:结合深度自编码器器和GMM的端到端无监督网络(一):论文解读
这是一个我最近复现并产生较好应用效果的模型,论文来自于ICLR2018,思路非常有意思。花时间分别从模型原理和如何实现并使用它的角度整理出两篇博客。论文链接异常检测是区分样本集中的少量异常样本,一般有两个特点:异常样本很少,异常:正常分布很不均衡由于应用范围涵盖很多方面,往往很难获取标签,所以一般都是采用无监督和半监督的方式学习。本质上,可以认为异常检测的一种思路是通过密度估计找到异常样本的过程,诸如一些传统的聚类算法如K-means,GMM可以被用来异常检测,但这些方法很难推广到高维和.原创 2021-01-30 10:39:56 · 3650 阅读 · 3 评论