- 博客(41)
- 收藏
- 关注
RSS订阅翻译 【AAAI 2024】异常检测 | COCL：长尾识别中带有可校准离群类学习的分布外检测
DNNs在长尾数据上训练，模型会严重的偏向于主要类别，导致长尾识别模型（Long Tail Recognition, LTR）以高置信度将分布外样本误分到主要类别；并对尾部样本给出更高的分布外分数，将其判断为分布外样本。因此，作者在本文提出一种校准的离群类别学习方法，通过去偏差的大边际学习和感知离群类的logit校准，缓解了这一问题，提升了OOD检测的表现。
2024-06-25 10:08:24
62
翻译 【TKDE 2024】异常检测 | Calibrated One-class Classification for Unsupervised Time Series Anomaly Detection
本文提出了一种基于校准的单类分类的无监督时序一场检测方法，COUTA。该方法克服了单类学习过程中的两个关键挑战：1）异常污染的存在；2）异常知识的缺乏。COUTA通过两个新颖的校准方法，基于不确定性建模的校准（UMC）以及基于原生异常的校准（NAC），实现上述目标。在UMC中，对单类分类的距离值施加一个先验的分布，惩罚不确定性大的噪声样本的影响，鼓励确定性高的样本有效学习。在NAC中，利用设计的数据扰动操作生成原生的异常样本，为单类分类学习提供了最初的异常知识。
2024-06-03 17:37:54
123
翻译 【arXiv 2023】异常检测 | DiffusionAD: Norm-guided One-step Denoising Diffusion for Anomaly Detection
这篇文章提出了一种由重构子网络和分割子网络组成的新型异常检测管道DiffusionAD。首先，使用扩散模型重新定义重构过程，通过noise-to-norm范式，利用高斯噪声扰动异常区域并将其恢复成正常表示。其次，提出一步去噪范式，加快扩散模型的迭代去噪过程，并且提出正常引导范式来进一步增强重构质量。最后，分割子网络比较输入图像和无异常恢复图像之间的不一致性和共性，预测像素级别的异常分数。实验结果表明DiffusionAD超越了SOTA。
2024-04-17 16:20:58
316
翻译 【arXiv 2024】反事实解释异常 | Reimagining Anomalies: What If Anomalies Were Normal?
本文介绍了一种从语义层面对图像异常检测器进行解释的新方法。这是通过修改异常，直到它们被检测器认为是正常的，创建称为反事实的实例来实现的。反事实在许多科学学科中发挥着至关重要的作用，从流行病学的因果推理到经济学的决策和气候科学的预测模型。作者发现反事实可以为图像异常检测器提供更深入、更细致的理解，远远超出传统的特征归因水平。
2024-03-27 00:25:58
82
翻译 【ICLR 2024】异常检测 | MCM: Masked Cell Modeling for Anomaly Detection in Tabular Data
这篇文章受掩码图像/语言建模在CV和NLP领域的成功的启发，提出了一种用于表格数据异常检测的MCM框架。通过生成多样的掩码矩阵抽取正常数据中的不同特征关联，从而在测试阶段将缺乏这些关联的样本判定为异常。
2024-03-23 17:12:26
277
翻译 【ICLR 2021】自监督学习 | Prototypical contrastive learning of unsupervised representations
这篇文章提出了原型对比学习（PCL），一种最大化可观测数据似然来发现网络参数的通用无监督表示学习框架。PCL将引入的原型作为隐变量，利用基于EM算法的框架执行迭代的聚类和表示学习，并且可以通过对比损失ProtoNCE能够编码数据的语义结构。
2024-03-22 13:11:04
208
翻译 【ICLR 2022】异常检测 | Anomaly Detection for Tabular Data with Internal Contrastive Learning
这篇文章提出了一种用于表格数据异常检测的通用单类分类方法。通过假设有可能基于样本的剩余特征来识别被掩蔽/缺失的特征，利用对比损失学习实现了表格数据的增强和检测能力的提升。大量的实验证明，该方法与Baselines相比具有明显优势，且超参数稳定，不需要在不同的数据集间调优。
2024-03-19 21:20:18
131
原创 【IUI 2020】人在回路机器学习——Human-in-the-Loop AI in Government: A Case Study
人在回路机器学习在政府收据识别中的案例
2022-10-14 12:24:06
1637
1
翻译 【ICML 2022】时间序列预测——FEDformer (Frequency Enhanced Decomposed Transformer)
FEDformer：用于长时序列预测的频率增强分解Transformer
2022-09-23 12:01:57
8888
4
原创 图注意力网络——Graph attention networks (GAT)
文章目录摘要引言摘要 图注意力网络，一种基于图结构数据的新型神经网络架构，利用隐藏的自我注意层来解决之前基于图卷积或其近似的方法的不足。通过堆叠层，节点能够参与到邻居的特征，可以(隐式地)为邻域中的不同节点指定不同的权值，而不需要任何代价高昂的矩阵操作(如反转)，也不需要预先知道图的结构。通过这种方法，该模型克服了基于频谱的故神经网络的几个关键挑战，并使得模型适用于归纳和推理问题。在四个数据集上实现或匹配了最先进的结果（Cora, Citeseer, Pubmed citation network,
2022-04-19 15:00:16
21275
1
原创 Every Document Owns Its Structure: Inductive Text Classification via GNN (TextING)
文章目录摘要引言文本分类方法TextING构建思路和创新点方法构图基于图的词交互读出函数模型变种实验数据集对比模型实验设置结果摘要 文本分类是自然语言的基础，GNN进来被广泛用于该任务。然而，现有的基于图的工作既不能捕捉每个文档中的上下文关系也不能实现对新单词的归纳学习。在本工作中，为了克服如上问题，提出通过GNN进行归纳文本分类的模型TextING。首先对每一个文档建立独立的图，然后使用GNN学习基于局部结构的细粒度词表示。该方法也可以在新文档中对没有见过的词进行有效的嵌入。最后，将词节点合并为文档
2022-03-30 10:46:37
1216
原创 Anaconda安装torch中遇到的一些问题
Solving environment: failed with initial frozen solve. Retrying with flexible solveLinkError: post-link script failed for package https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge::cudato.
2021-12-23 19:44:34
2492
1
原创 给定一个整数数组，求使用数组中的数加和得到目标值的所有方案数——python动态规划实现
目录题目描述python实现题目描述第一行输入一个整数N代表物品数量，第二行输入N个正整数代表每个物品的价值。每个物品不可分割，不能以部分价值分配。问：若要把这些物品等价值的分配给两个人，分配方案的数量是多少？若无法达到分配要求，则输出’No solution!‘（样例如下）input:51 2 2 3 4output:4python实现from functools import reducedef fangan(li): num = reduce(lambda
2021-09-23 17:52:09
947
1
原创 图神经网络笔记（二）——卷积图神经网络概述
文章目录基于谱分解的方法Spectral NetworkChebNet卷积图神经网络主要分为两类：1）基于谱分解的方法；2）基于空间结构的方法；基于谱分解的方法四种经典模型：Spectral Network, ChebNet, GCN, AGCNSpectral NetworkJoan Bruna等人14年提出，通过计算图的拉普拉斯矩阵的特征分解，在傅里叶域中定义卷积运算。该运算可以定义为信号xxx与一个卷积核gθg_{\theta}gθ的乘积:gθ★x=Ugθ(Λ)UT
2021-09-03 17:06:51
380
原创 图神经网络笔记（一）——设计动机和基础GNN
目录引言设计动机引言设计动机CNN的提出给机器学习领域带来了巨大突破。它可以提取多尺度局部空间特征，并进一步将其组合成具有较强表示能力的特征，但是CNN只能处理欧几里得空间上的数据（即规则的数据），一个窗口无论移动到图片或一维序列的哪一个位置，其内部的结构都是一模一样的，因此CNN可以实现参数共享。而对于非欧几里得空间中的图，无法直接使用卷积和池化算子。CNN三大特点：局部连接、共享权重、多层结构图嵌入旨在于学习用低维向量表示图的节点、边或子图。随着表示学习和嵌入学习的成功，deepw
2021-08-31 12:25:37
259
原创 归并排序——python数据结构
归并排序pthon实现def merge(li, low, mid, high): i = low j = mid + 1 temp = [] while i <= mid and j <= high: if li[i] < li[j]: temp.append(li[i]) i += 1 else: temp.append(li[j])
2021-07-01 23:32:09
93
原创 堆排序——python数据结构
目录堆的基本知识堆排序（以大根堆为例）堆的基本知识堆：一种特殊的完全二叉树结构完全二叉树：仅最后一层或次最后层有叶节点，且叶节点从左向右顺序排列大根堆：任一节点都比其孩子节点大小根堆：任一节点都比其孩子节点小堆的向下调整当根节点的左右子树都是堆而其本身不是堆时，通过一次向下调整来将其变换成一个堆堆排序（以大根堆为例）从最后一个有孩子的结点开始，依次调整，构造初始堆得到初始堆的堆顶元素为最大元素去掉堆顶，将堆的最后一个元素放到堆顶。通过一次向下调整重新构建堆得到堆
2021-06-30 17:05:38
83
原创 快速排序——python数据结构
快速排序取列表的一个元素值作为flag，将数组划分为两个部分。flag左边的值都比它小，右边的值都比它大。递归完成。平均时间复杂度：O(n log(n))最坏时间复杂度：O(n2n^2n2)def partition(list, left, right): temp = list[left] while left < right: while left < right and list[right] >= temp: ri
2021-06-20 22:02:30
99
原创 冒泡排序、选择排序、插入排序——python数据结构
文章目录冒泡排序选择排序插入排序冒泡排序列表每两个相邻的数，如果前面的比后面大则交换这两个数时间复杂度：O(n2n^2n2)def bubble_sort(list): for i in range(len(list) - 1): flag = 0 for j in range(len(list) - i - 1): if list[j] > list[j+1]: flag = 1
2021-06-20 16:47:12
76
原创 列表查找（顺序查找、二分查找）——python数据结构
文章目录列表查找顺序查找二分查找列表查找输入：列表、待查找元素输出：元素下标列表内置查找函数：index()时间复杂度：O(n)顺序查找（线性查找）从列表第一个元素开始，顺序进行搜索def linear_search(list, value): for i, v in enumerate(list): if v == value: return i return None# testlist = [1, 2, 3, 4]i
2021-06-17 21:43:00
532
原创 汉诺塔——python数据结构
def hanoi(n, a, b, c): if n > 0: hanoi(n - 1, a, c, b) print('moving the plate from {} to {}'.format(a, c)) hanoi(n - 1, b, a, c)hanoi(3, 'A', 'B', 'C')
2021-06-17 21:06:11
86
原创 python基础——列表、字符串、集、字典的内置方法
概要序列运算：列表的相关方法：字符串相关方法：集支持的运算集提供的方法有序集合：列表，字符串，元组；无序集合：字典，集；列表和字符串的主要区别在于列表可以修改而字符串不能；元组与列表十分相似，但元组也是不可修改的。序列运算：运算名运算符解释索引[ ]去序列中某个元素连接+将序列连接在一起重复*重复N次连接成员in询问序列中是否有某元素长度len询问序列的元素个数切片[:]取出序列的一部分列表的相关方法：方
2021-03-01 16:25:56
134
1
原创 Long- and Short-Term Time-series network(LSTNet)
文章目录摘要文章内容引言相关背景框架卷积部分循环部分时间注意力层自回归部分评价来源：SIGIR-2018摘要 现实应用中的时序数据常常涉及长期和短期的混合模式，而传统的如自回归模型和高斯过程的模型可能无法做到。 文章提出LSTNet，采用CNN和RNN在变量间抽取短期局部依赖模式并为时序的趋势探索长期模式；此外，作者利用传统的自回归模型来解决神经网络scale不敏感的问题。文章内容引言figure1：高速公路每小时的占用率Recurrent-Skip：一种新的递归结构，被
2020-11-02 10:43:41
1387
原创 【ML实战】朴素贝叶斯之文档二分类
大纲相关知识思想代码实现相关知识朴素贝叶斯（Naive Bayes）是一种分类方法，可以处理多分类问题，在数据量较少的情况下亦可有效。其缺点是对输入数据的准备方式较为敏感。P(ci∣x)=P(x∣ci)P(ci)P(x)P(c_{i}|x) = \frac{P(x|c_{i})P(c_{i})}{P(x)}P(ci∣x)=P(x)P(x∣ci)P(ci)；其中cic_{i}ci表示第iii个类别，xxx表示样本。式子表示样本xxx属于cic_{i}ci类别的概率。朴素贝叶斯存在两个前提
2020-07-16 15:13:01
473
原创 【ML实战】决策树ID3
大纲相关知识思想代码实现相关知识决策树是一种分类方法，通过不断的选取最优特征来进行树的建立香农熵：度量数据集的无序（混乱）程度H(x)=−p∗log(p)H(x) = -p*log(p)H(x)=−p∗log(p)，其中p表示选择该分类的概率信息增益（information gain）：g(D,A)=H(D)−H(D∣A)g(D,A) = H(D) - H(D|A)g(D,A)=H(D)−H(D∣A)；暨表示在给定A类别下，数据集合不确定性（混乱性）减小的程度。思想对于给定数据集，决策树
2020-07-14 15:23:42
142
原创 【ML实战】KNN
大纲思想代码实现思想训练样本集中每个数据都有标签，即我们知道每一个样本与其分类的对应关系。KNN算法的思想则是在输入一个新的样本向量后，与数据集中的各个样本数据特征进行比较，找出其与之特征最相似（最近邻）的K个数据，统计它们的标签，用累计数量最多的标签作为新样本数据的标签。代码实现导入需要的包import numpy as npimport operator创建一些简单的数据def createData(): group = np.array([ [1.
2020-07-12 11:45:59
161
原创 【笔记】卷积神经网络简述（CNN）
Outline1.卷积的基本概念1.1 卷积1.2 卷积的应用2.Hubel-Weisel实验/神经认知机2.1 感受野2.2 Hubel-Weisel实验2.3 神经认知机3.卷积神经网络的基本原理3.1 卷积层3.1.1 二维卷积3.1.2 卷积神经网络中的“卷积”3.1.3 数据填充3.1.4 卷积的模式3.1.5 卷积神经网络的感受野1.卷积的基本概念1.1 卷积(f*g)(n)成...
2020-05-25 16:17:11
551
1
原创 【笔记】分布式哈希表（DHT）
Outline1.Introduction主要设计目标：1.去中心化2.可扩展（随节点增加有效扩展）3.容错（处理当有node出现故障的情形）1.Introductionhash table通过key联系数据在分布式哈希表（DHT）中，节点（node）是哈希桶可能会出现的问题Problem 1：动态的加减节点解决办法：a. 定义一个混合的hash空间b....
2020-04-29 16:36:06
1392
原创 快速了解正则化（参数范数正则化L1&L2）
Outline参数范数正则化1. 概述2. L2正则化（单步）简述3. L2参数正则化分析（整个训练过程）广义正则化：通过某种手段使学习算法在训练误差变化不大的情况下，使得泛化误差显著降低的方法。狭义正则化：不减少网络参数，只进行参数范围调整的方法。正则化相当于是“挂坠”，狭义正则化就是给损失函数加一个正则化项（通过增加一个挂坠来让模型不要特别好的拟合训练集，以避免过拟合的现象）。参数...
2020-04-21 17:49:40
1524
原创 【笔记】大数据运算系统3_内存计算系统Spark
— Outline1.原理2.编程3.系统实现— 内容Spark：面向大数据分析的内存系统。Berkeley AMP Lab研发，可以从HDFS读数据，但是运算中数据放在内存中，不使用Hadoop，而是新实现了分布式的处理。目标是低延迟的分析操作。Spark思路内存容量越来越大；把数据放入多台机器的内存以避免HDFS的开销。1.原理基础数据结构结构RDD（Resi...
2020-04-17 17:23:16
246
原创 【笔记】大数据运算系统1_MapReduce & 同步图计算系统
—Outline1.MapReduce1.1 编程模型1.1.1 整体思路1.1.2 数据模型1.1.3 word count举例1.1.4 MapReduce和SQL Select比较1.2 MapReduce系统架构1.2.1 MR运行：提交作业1.2.2 MR运行：Map Task执行1.2.3 MR运行：Shuffle1.2.4 MR运行：Reduce1...
2020-04-15 17:29:16
298
原创 【笔记】大数据运算系统2_图计算系统(GraphLab,PowerGraph)&数据流系统
–Outline图计算系统GraphLabPowerGraph数据流系统storm–内容1.GraphLab单机系统共享内存多个线程都可以访问图数据线程之间不用发送和接收消息异步计算不分超步，允许不同顶点有不同的更新速度适合支持机器学习算法，在不同部分收敛速度不同数据模型Data Graph G=(V, E)，其中每个顶点和每条边可以有对应的...
2020-04-09 21:59:01
578
原创 【笔记】概述胶囊网络
CNN现存问题池化操作提供了局部不变性，错误解决了需要解决的等变性问题，从而丢失了位置等信息。平移等变性：对于一个函数，如果对其输入施加的变换也会同样反映在输出上，那么这个函数就对该变换具有等变性。平移不变性：对一个函数，若对其输入施加的某种操作丝毫不会影响到输出，那么这个函数就对该变换具有不变性。胶囊网络的改进使用胶囊作为网络的基本单元特征向量表示可视实体，对方位等信息进行...
2020-04-08 11:48:31
872
原创 生成对抗网络（GAN）的前情提要
1.产生背景生成方法，所学到的模型称为生成式模型。生成方法通过观测数据学习样本与标签的联合概率分布P(X,Y)P(X,Y)P(X,Y)训练好的的模型即生成模型，能够生成符合样本分布的新数据。生成式模型在无监督深度学习方面占据主要位置，可用于在没有目标类标签信息的情况下捕捉观测到或可见数据的高阶相关性。判别方法，所学到的模型称为判别式模型。判别方法由数据直接学习决策函数f(X)或...
2020-04-07 21:13:54
205
原创 偏差-方差分解简要推导
假设数据集上需要预测的样本为Y ，特征为X， 潜在模型为Y=f(X)+εY=f(X)+ \varepsilonY=f(X)+ε，其中ε∼N(0,σε)\varepsilon \sim N(0,\sigma_\varepsilon)ε∼N(0,σε)是噪声，估计的模型为f^(x)\hat{f}(x)f^(x)。推导过程Err(X)=E[(Y−f^(X))2]Err(X)=E[(Y-\ha...
2020-04-03 16:00:12
2383
1
原创 简述最小二乘法
最小二乘法又称最小平方法，是一种数学优化方法，它通过最小化误差的平方和寻找数据的最佳函数匹配。经常用于回归问题，可以方便的求得未知参数。（曲线拟合，最小化能量或者最大化熵等问题）数学定义给定函数f(x;α0,α1,α2,⋯ ,αm)f(x;\alpha_{0},\alpha_{1},\alpha_{2},\cdots,\alpha_{m})f(x;α0,α1,α2,⋯,αm)及其在...
2020-04-03 10:28:45
870
原创 一文快速回顾_机器学习概率与统计基础
1.随机变量随机事件的数量表现；随机变量可以是离散的或者连续的。离散随机变量是指拥有有限个或者可列无限多个状态的随机变量。连续随机变量是指变量值不可随机列举出来的随机变量，一般取实数值。随机变量通常用概率分布来指定它的每个状态的可能性。2.常见概率分布伯努利分布伯努利试验：只可能有两种结果的单次随机试验。又称0-1分布，单个二值型离散随机变量的分布。P(X=1)=p,P(X...
2020-04-02 15:46:45
134
原创 一文快速回顾_机器学习线性代数基础
标量：只有大小没有方向的物理量向量：又称矢量，既包含大小又包含方向的物理量矩阵：矩阵是一个二维数组，其中的每一个元素一般由两个索引来确定，一般用大写变量表示。张量：矢量概念的推广，可以用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数。【标量是0阶张量，矢量是1阶张量，矩阵是2阶张量】矩阵的秩：矩阵列向量中的极大线性无关组的数目，记作列秩。行秩=列秩=矩阵的秩...
2020-04-01 16:12:52
130
原创 简述感知机（perceptron）
感知机是二类分类的线性分类模型（判别模型）。输入为实例的特征向量，输出为类别取值+1或-1。一、感知机函数其中，w为权值向量，b为偏置。二、感知机学习的损失函数假设数据集是线性可分的，感知机学习的目标是找出将数据集中正实例和负实例完全分开的分离超平面。那么对于上述的函数来说，我们的目的就是求得w和b的参数值，这样我们就能够确定最终的函数从而得到这个超平面。如何去求w和b...
2020-04-01 11:12:34
956
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人