- 博客(38)
- 收藏
- 关注
RSS订阅原创 【图神经网络工具】PyTorch Geometric基础知识（一）
工业界的微服务系统通常是由几十到几千个服务运行在不同的机器上组成的大规模分布式系统。系统的异常往往可以体现在trace和log中，分别记录服务间的交互和服务内的行为。现有的跟踪异常检测方法将跟踪视为一系列服务调用。他们忽略了由其调用层次结构和并行/异步调用带来的跟踪的复杂结构。另一方面，现有的日志异常检测方法将日志视为一系列事件，无法处理分布在大量交互复杂的服务中的微服务日志。在本文中，我们提出了 DeepTraLog，一种基于深度学习的微服务异常检测方法。
2023-09-26 13:13:37
1006
原创 【GGNN源码解析】逐步PyTorch Implementation of Gated Graph Neural Network
导入必要的Python库和模块。
2023-09-25 11:46:23
498
1
原创 【DeepSVDD源码解析】逐步PyTorch Implementation of Deep SVDD
基于 Python 3.7，相关安装包见 requirements.txt(文末）
2023-09-24 18:05:01
789
原创 论文阅读【异常检测】Deep One-Class Classification(附代码)
尽管深度学习在许多机器学习问题上取得了巨大进步，但用于异常检测的深度学习方法相对缺乏。那些确实存在的方法涉及经过训练以执行异常检测之外的任务的网络，即生成模型或压缩，这些网络又适用于异常检测；他们没有接受过基于异常检测目标的培训。在本文中，我们介绍了一种新的异常检测方法——深度支持向量数据描述——该方法是在基于异常检测的目标上进行训练的。对深层机制的适应需要我们的神经网络和训练程序满足某些属性，我们在理论上证明了这一点。我们展示了我们的方法在 MNIST 和 CIFAR-10 图像基准数据集以及 GT SR
2023-09-05 16:12:30
793
原创 论文阅读【图神经网络】Graph Attention Networks
核心观点：GAT (Graph Attention Networks) 采用 Attention 机制来学习邻居节点的权重, 通过对邻居节点的加权求和来获得节点本身的表达.下面三篇论文递进关系：，处理的是图结构数据。它通过注意力机制（Attention Mechanism）来对邻居节点做聚合操作，实现了对不同邻居权重的自适应分配，大大提高了图神经网络的表达能力。概率论：基本的概率论知识掌握条件概率的概念注意力机制：深度学习中的attention机制，Transformer中的multi-head消息传递：图
2023-08-02 10:09:31
673
原创 【根因定位】报警聚类算法在美团业务系统的落地实施
在业务服务中，日志记录了关键执行点、程序执行错误时的现场信息等重要信息。当系统出现故障时，运维人员通常会查看错误日志来定位故障原因。在业务流量较小、逻辑复杂度较低的情况下，错误日志较少，运维人员可以快速定位问题。然而，随着业务逻辑的不断迭代和系统接入的依赖服务增多，错误日志的数量可能急剧增加。在这种情况下，错误日志的内容可能相互掩埋、相互影响，运维人员面对大量报错可能难以理清逻辑，导致难以快速解决核心问题。报警信息是系统中的一种重要报告机制，用于通知运维人员发生故障或异常。
2023-07-27 15:52:24
532
原创 论文阅读【异常检测】 Adtributor: Revenue Debugging in Advertising Systems
广告 (ad) 收入在支持免费网站方面起着至关重要的作用。当收入急剧下降或增加时，广告系统运营商必须找到并修复根本原因（如果可行的话），例如，通过优化基础设施性能。这种收入调试类似于系统文献中的诊断和根本原因分析，但更为普遍。基础设施要素的故障只是一个潜在原因；许多其他维度（例如，广告商、设备类型）可能是潜在原因的来源。此外，随着收入一起跟踪的每次点击成本等派生指标使问题变得复杂。我们的论文首次系统地审视了收入调试。
2023-06-09 16:15:18
1217
原创 论文阅读【异常检测】ModelCoder: A Fault Model based Automatic Root Cause Localization Framework for Microservi
微服务系统是一种架构风格，将单个应用程序开发为一组在其进程中运行并通过轻量级消息机制进行通信的小型服务。虽然微服务架构能够快速、频繁、可靠地交付大型、复杂的应用程序，但对于运维人员来说，定位微服务故障的根本原因越来越具有挑战性，这种故障通常发生在服务节点上，并传播到整个系统。为此，在本文中，我们首先引入部署图和服务依赖图的概念来描述服务节点之间的部署状态和调用关系。然后，我们基于构建的图制定微服务系统中的根本原因定位问题，其中定义故障模型以捕获故障根本原因的特征。
2023-06-06 11:02:27
373
原创 论文阅读【异常检测】Trace-Log Combined Microservice Anomaly Detection through Graph-based Deep Learning
工业界的微服务系统通常是由几十到几千个服务运行在不同的机器上组成的大规模分布式系统。系统的异常往往可以体现在trace和log中，分别记录服务间的交互和服务内的行为。现有的跟踪异常检测方法将跟踪视为一系列服务调用。他们忽略了由其调用层次结构和并行/异步调用带来的跟踪的复杂结构。另一方面，现有的日志异常检测方法将日志视为一系列事件，无法处理分布在大量交互复杂的服务中的微服务日志。在本文中，我们提出了 DeepTraLog，一种基于深度学习的微服务异常检测方法。
2023-06-05 17:09:42
1094
原创 论文阅读【自然语言处理-预训练模型3】XLM-R：Unsupervised cross-lingual representation learning at scale
本文表明，大规模预训练多语言语言模型可以显着提高各种跨语言迁移任务的性能。我们使用超过 2 TB 的过滤 CommonCrawl 数据，在一百种语言上训练基于 Transformer 的屏蔽语言模型。
2023-05-12 15:17:12
1474
2
原创 论文阅读【自然语言处理-预训练模型2】BART:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation
我们介绍了 BART，一种用于预训练序列到序列模型的去噪自动编码器。BART 通过 (1) 使用任意噪声函数破坏文本，以及 (2) 学习模型来重建原始文本进行训练。它使用标准的基于 Tranformer 的神经机器翻译架构，尽管它很简单，但可以看作是对 BERT（由于双向编码器）、GPT（具有从左到右的解码器）和许多其他更新预训练计划。我们评估了许多噪声方法，通过随机打乱原始句子的顺序和使用新颖的填充方案找到最佳性能，其中文本跨度被替换为单个掩码标记。
2023-05-11 09:48:18
2031
1
原创 论文阅读【时间序列分析2】Learning of Cluster-based Feature lmportance for Electronic Health Record Time-series
Introduction: 介绍了电子病历数据的重要性和当前的挑战，提出了研究目标和方法。Related work: 介绍了目前一些研究，探讨了目前特征选择的方法，以及电子病历时间序列数据的处理。Methodology: 介绍了文章提出的算法的总体框架，包括了两个阶段：特征选择和重要性评估。该部分还讨论了如何对数据进行预处理。Cluster-based feature selection: 详细介绍了文章提出的聚类特征选择算法的细节，包括特征聚类、特征筛选、聚类评估和特征选择评估。
2023-05-10 10:17:19
861
1
原创 论文阅读【自然语言处理-预训练模型】XML：Crosslingual language model pretraining
最近的研究证明了生成式预训练对英语自然语言理解的有效性。在这项工作中，我们将这种方法扩展到多种语言，并展示了跨语言预训练的有效性。我们提出了两种学习跨语言语言模型 (XLM) 的方法：一种是仅依赖单语言数据的无监督方法，另一种是利用具有新的跨语言语言模型目标的并行数据的监督方法。我们在跨语言分类、无监督和监督机器翻译方面获得了最先进的结果。
2023-05-09 17:07:17
724
原创 论文阅读【时间序列预测2】TACTiS: Transformer-Attentional Copulas for Time Series
TACTiS（Transformer-Attentional Copulas for Time Series）论文的创新点主要包括以下几个方面：提出了一种新的时间序列生成模型，该模型结合了Transformer编码器、注意力机制和copula分布，能够更准确地捕捉序列中的关联关系。Transformer编码器：相比于传统的循环神经网络（RNN）等序列模型，Transformer模型可以更好地处理长序列，避免了RNN模型存在的梯度消失和梯度爆炸问题，并且可以并行处理输入序列，提高模型的训练效率。
2023-04-20 16:54:40
2110
1
原创 论文阅读【时间序列分析1】Reconstructing Nonlinear Dynamical Systems from Multi-Modal Time Series
物理学、生物学或医学中经验观察的时间序列通常由一些底层动力系统（DS）生成。提出了一个多模态数据集成的框架，该框架基于可动态解释的循环神经网络和广义线性模型类的模式特定解码器模型。许多自然现象，从物理学到心理学，以及许多工程系统，都可以被描述为（通常是非线性的）动力系统，其时间演变由一组微分或时间递归方程指定。循环神经网络可以用来推断这些方程。重建底层DS比训练系统对时间序列产生良好的提前预测更具挑战性，因为模型还必须重现底层系统的不变属性。
2023-04-17 10:56:10
797
1
翻译 FROM DATA TO TRADE: A MACHINE LEARNING APPROACH TO QUANTITATIVE TRADING
量化交易是指利用数学模型和算法进行交易决策。它涉及使用计算机程序来分析财务数据和识别交易机会，并根据预定规则自动执行交易。
2023-04-10 15:35:25
2262
转载 【转载】工程实践指导原则
确定目标，即使用什么误差度量是第一步因为误差度量将指导接下来的所有工作同时我们也能够了解大概能得到什么级别的目标性能对大多数应用而言，不可能实现绝对零误差即使有无限的训练数据，并且恢复了真正的概率分布，但是由于输入特征可能无法包含输出变量的完整信息、或者系统本质上是个随机系统，则仍然产生了误差当然实际上我们也不可能有无限的训练数据通常我们需要收集更多的数据。但是我们需要在收集更多数据的成本，与进一步减少误差的价值之间权衡通常我们需要对错误率定一个 baseline 从而判断预测得好坏对于学术界
2023-03-08 14:30:26
80
翻译 【论文阅读】命名实体识别文献综述
命名实体识别 (NER) 是从属于预定义语义类型（如人、位置、组织等）的文本中识别刚性指示符的任务。NER 一直是许多自然语言应用的基础，如问答、文本摘要和机器翻译。早期的 NER 系统在以设计特定领域的特征和规则的人工工程成本实现良好性能方面取得了巨大成功。近年来，深度学习通过非线性处理得到连续实值向量表示和语义组合的支持，已被用于 NER 系统，产生了最先进的性能。在本文中，我们全面回顾了现有的 NER 深度学习技术。我们首先介绍 NER 资源，包括带标签的 NER 语料库和现成的 NER 工具。
2023-03-08 10:03:30
1356
3
翻译 【时间序列论文】使用深度学习进行时间序列预测：一项调查
已经开发了许多深度学习架构来适应跨不同领域的时间序列数据集的多样性。在本文中，我们调查了单步和多水平时间序列预测中使用的常见编码器和解码器设计——描述了每个模型如何将时间信息纳入预测。接下来，我们重点介绍混合深度学习模型的最新发展，该模型将经过充分研究的统计模型与神经网络组件相结合，以改进任一类别的纯方法。最后，我们概述了深度学习还可以通过时间序列数据促进决策支持的一些方式。 时间序列建模历来是学术研究的一个关键领域——形成了气候建模 [1]、生物科学 [2] 和医学 [3] 等主题应用的一个组成部分
2022-12-05 11:46:19
463
原创 【推荐系统论文】使用Embedding在 Airbnb 上进行搜索排名的实时个性化
搜索排名和推荐是主要互联网公司（包括网络搜索引擎、内容发布网站和市场）最感兴趣的基本问题。然而，尽管具有一些共同特征，但在这个领域中并不存在一刀切的解决方案。考虑到需要排名、个性化和推荐的内容差异很大，每个市场都面临着独特的挑战。相应地，在短期租赁市场 Airbnb 中，搜索和推荐问题非常独特，它是一个双向市场，在用户很少消费同一项目两次和一个列表只能接受特定日期的一位客人。在本文中，我们描述了我们为搜索排名中的实时个性化和类似列表推荐而开发和部署的列表和用户嵌入技术，这两个渠道可推动 99% 的转化。
2022-12-02 13:20:06
500
翻译 关于文本分类的调查：从浅层到深层学习
文本分类是自然语言处理中最基本和最重要的任务。由于深度学习取得了空前的成功，在过去十年中，该领域的研究激增。文献中提出了许多方法、数据集和评估指标，提出了对全面和更新调查的需求。本文通过回顾 1961 年至 2020 年最先进的方法填补了空白，重点关注从浅层到深度学习的模型。我们根据涉及的文本和用于特征提取和分类的模型创建文本分类的分类法。然后我们详细讨论这些类别中的每一个，处理支持预测测试的技术发展和基准数据集。本次调查还提供了不同技术之间的综合比较，以及确定各种评估指标的优缺点。最后，我们总结了关键影响
2022-11-28 01:17:49
1495
3
原创 NLP到Word2Vec实战——第三四课
文章目录Word2Vec应用案例以及Fasttext一、文本情感分析（英文&&中文）二、Fasttext1.模型意义2.模型改进（1）加入N-gram（2）kernel Trick与Hashing trick（3）哈夫曼树霍夫曼树Word2Vec应用案例以及Fasttext一、文本情感分析（英文&&中文）1.基本的文本预处理技术 （网页解析，文本抽取，正则表达式等）#下载停用词nltk.download('stopwords')eng_stopwords = se
2022-01-17 17:29:52
439
原创 NLP到Word2Vec实现-第二课
文章目录词向量到word2vec与相关应用一、NLP常见任务1.自动摘要2.指代消解3.机器翻译4.词性标注5.分词6.主题识别7.文本分类二、NLP处理方法1.传统：基于规则2.现代：基于统计机器学习（1）HMM、CRF、SVM、LDA、CNN（2）”规则“隐含在模型参数里3.词编码需要保证词的相似性4.向量空间分布的相似性5.向量空间子结构6.在计算机中表示词（1）离散表示①One-hot表示②Bag of Words1)TF-IDF (Term Frequency - Inverse Document
2022-01-17 14:58:01
652
原创 NLP到Word2Vec实战-第一课
文章目录QANLTK一、概述1.定义2.安装NLTK3.安装语料库二、文本处理流程1.Tokenize——长句拆分成小部分2.中英文区别—中文没有空格（1） 中文分词——jieba.cut()——一般要与''.join()连用3.处理特殊的字符串、表情符等——特殊符号的分词工具：re4.词形归一化（1）Stemming 词⼲提取**PorterStemmer/SnowballStemmer/LancasterStemmer**（2）Lemmatization 词形归⼀ **WordNetLemmatizer
2022-01-17 10:40:12
1180
原创 Python基础Day4
Python一、字典字典也是一种数据的集合，由键值对组成的数据集合，字典中的键不能重复字典中的键必须是不可变的数据类型，常用的键主要是：字符串，整型。。。1.字典的定义字典可以通过将以逗号分隔的 键: 值 对列表包含于花括号之内来创建字典也可以通过 dict 构造器来创建{'jack': 4098, 'sjoerd': 4127} 或 {4098: 'jack', 4127: 'sjoerd'}（1）使用{}定义vardict = {'a':1,'b':2,'c':2}（2）使
2022-01-12 14:50:38
208
原创 Python基础Day3
python一、内置数据类型整型整数，2345,10,50浮点型 小数，3.14 或者科学计数法 314e-2布尔型 表示真假，仅包含：True、False字符串型 由字符组成的序列。 “abc”,”sxt”,“一二三”,
2022-01-10 09:27:20
300
原创 NLP-自然语言处理-文本分类-总结-Tensorflow2.0版
自然语言处理（NLP）文本分类总结（基础概念+机器学习模型+深度学习模型）简要代码实现方法TensorFlow版本
2022-01-09 14:36:48
5272
原创 Python基础Day1-2
Python基础一、介绍1.定义python是解释型、面向对象的语言2.特点（1）可读性强（2）简洁（3）面向对象（4）免费和开源（5）可移植性和跨平台3.应用范围（1）科学计算（2）人工智能（3）WEB 服务端和大型网站后端。 YouTube、gmail 等应用基于 python 开发。（4）GUI 开发（图形用户界面开发）（5）游戏开发（6）移动设备（7）嵌入式设备（8）系统运维（9）大数据（10）云计算二、编程基础1.程序的构成（1）由模块组成，一个模块
2022-01-09 14:30:11
415
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人