- 博客(6)
- 收藏
- 关注
RSS订阅原创 【pytorch异常】Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
【pytorch异常】Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.问题：图片无法显示，后台报错如下：Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.解决方法：允许副本存在，忽略报错。在程序中添加：import osos.environ['KMP_D
2021-08-03 16:00:11
228
原创 异常检测05——高维异常
1. 引言在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空间中，所有点对的距离几乎都是相等的（距离集中），这使得一些基于距离的方法失效。在高维场景下，一个常用的方法是子空间方法。集成是子空间思想中常用的方法之一，可以有效提高数据挖掘算法精度。集成方法将多个算法或多个基检测器的输出结合
2021-01-24 20:04:27
173
原创 异常检测04——基于相似度的方法
1. 概述数据通常嵌入在大量的噪声中，而我们所说的“异常值”通常指具有特定业务意义的那一类特殊的异常值。噪声可以视作特性较弱的异常值，没有被分析的价值。噪声和异常之间、正常数据和噪声之间的边界都是模糊的。异常值通常具有更高的离群程度分数值，同时也更具有可解释性。在异常检测中，我们弱化了“噪声”和“正常数据”之间的区别，专注于那些具有有价值特性的异常值。在基于相似度的方法中，主要思想是异常点的表示与正常点不同。2. 基于距离的度量基于距离的方法是一种常见的适用于各种数据域的异常检测算法，它基于最近邻距
2021-01-21 21:50:00
153
原创 异常检测03——线性模型
真实数据集中，不同维度的数据通常具有高度的相关性，这是因为不同的属性往往是由相同的基础过程以密切相关的方式产生的。一类相关性分析试图通过其他变量预测单独的属性值，如：线性回归。另一类方法用一些潜在变量来代表整个数据，如：主成分分析。需要明确的是，这里有两个重要的假设：假设一：近似线性相关假设。线性相关假设是使用两种模型进行异常检测的重要理论基础。假设二：子空间假设。子空间假设认为数据是镶嵌在低维子空间中的，线性方法的目的是找到合适的低维子空间使得异常点(o)在其中区别于正常点(
2021-01-18 21:33:13
240
原创 异常检测02——基于统计学的方法
1.概述统计学方法对数据的正常性做出假定。它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点。统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。异常检测的统计学方法可以划分为两个主要类型：参数方法和非参数方法。参数方法假定正常的数据对象被一个以Θ\ThetaΘ为参数的参数分布产生。该参数分布的概率密度函数f(x,Θ)f(x,\Theta)f(x
2021-01-15 20:57:40
143
原创 异常检测01——概述
1. 异常检测异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。识别如信用卡欺诈，工业生产异常，网络流里的异常（网络侵入）等问题，针对的是少数的事件。1.1 异常的类别点异常：指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标；上下文异常：又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的，例如在特定时间下的温度突然上升或下降，在特定场景中的快速信用卡交易；群体异常：指的是在群体集合中
2021-01-12 19:11:55
236
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人