【Deep Learning】数据处理

最新推荐文章于 2022-11-09 21:34:12 发布
最新推荐文章于 2022-11-09 21:34:12 发布
阅读量492 收藏 1
点赞数
分类专栏： ML 文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YWP_2016/article/details/74941140
版权

强文！看懂数据探索，完整指导！

https://mp.weixin.qq.com/s?__biz=MjM5MDI1ODUyMA==&mid=2672938920&idx=1&sn=b7a4af768e70d9480010a032159eaf5a&chksm=bce2eb9f8b9562894231254bc78de8e0388df414987fb4b587a81c3b290a9b0922ae089a9f0f&mpshare=1&scene=23&srcid=0617mLp77mCqEA1DEexrYwtp#rd 

在机器学习中，很多时候你会挣扎于怎么提高模型的准确率。在这种时刻，数据探索的一些方法将帮助你解决这个问题。这个指导将帮助你理解数据探索中的主要技术。请记住你输入的变量的数据质量决定了你模型输出量的质量。所以当你的商业问题提出来以后,你需要花费很多时间在数据准备和探究上面，一般来说，数据清理，探究和准备大概占据了一个项目70%的时间。下面是准备，理解，清理你用于建立预测模型的数据的几个步骤,我会一个一个来介绍

1.变量确定

2.单变量分析

3.双变量分析

4.处理缺失值

5.处理离群值

6.变量转换

7.变量创建

——————————————————————————————————————————————————————————————————————

1.变量确定

首先，你需要确认你的输入变量（预测指标）和你的输出变量（目标变量）是什么，接着，你需要确认数据的种类和分类。

2.单变量分析

在这个步骤，我们需要一个变量一个变量的去做分析，单变量分析的方法取决于你需要分析的变量是连续的还是非连续的。

3.双变量分析

双变量分析是用来找出两个变量之间的关系，我们寻找两个变量间有显著水平的相关联和非相关联性。双变量分析可以是非连续型变量和非连续型变量，非连续型变量和连续型变量还有连续型变量和连续型变量。

4.处理缺失值

a. 删除：表删除（List-wise Deletion）和对删除(Pair-wise)
b. 均值（mean）/众数(mode)/中位数(median)替换法：用估计的值去替换缺失值
c.预测模型：用预测模型来估算缺失值
d. 最近邻居法（KNN）：用缺失值周围的离它最近或者是最相似的其他变量来估算

5.处理离群值
绝大多数处理离群值的方法与缺失值比较类似，可以删除或者转换，或者替换
删除观测值： 如果是因为非自然的离群值，而且数量很少的话，我们可以移除它们

6.变量转换
在数据建模中，变量变换是指一个变量用其相关的函数变换之后的值来表示。打个比方，我们用x取对数之后的值来取代x的值。也可以说，变量变换改变了变量的分布。

7.变量创建

利用原有的变量创建新变量的过程。打个比方，我们有日期的输入变量（日-月-年），我们可以利用这个变量建立专门的日，月，年，星期，工作日等等比之前的输入变量日期更好的变量

YWP_2016
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
多目标跟踪数据关联的二部图解：CVPR18多目标跟踪开创性深度端到端二部图匹配佳作《Deep Learning of Graph Matching》读后有感
Trasper1的博客
08-07 6330
多目标跟踪算法的核心以及瓶颈之处，即是在得到两个set的DR（detection response，其中一个前序set可能是tracklets，但也由DR来表征）之后如何实现二部图匹配。传统的Hungarian算法和Kuhn-Munkras算法可以在最理想情况下以O（n^2）时间复杂度求解。但是在深度学习的时代，如何由DL得方式解决多目标跟踪中的data association问题，也即一个类二部...
Deep Learning之数据预处理、损失函数与模型优化技巧
胖虎的博客
06-17 603
神经网络训练前的准备工作数据预处理数据增广参数初始化损失函数的选择优化算法 数据预处理 数据增广 通过对图像进行变换、引入噪声等方法来增加数据的多样性 针对图像数据，常用的一些数据增广方法： 旋转（Rotation）：顺时针or逆时针旋转一定角度 翻转（Filp）：将图像沿水平or垂直随机翻转一定角度 缩放（Scale）：将图像按一定比例方法or缩小 平移（Shift）：沿水平or垂直平移一定步长 加入噪声（Noise）：加入随机的噪声影响 聚焦（Zoom In/Out）：以目标为中心，将图像内容放大or缩
论文阅读笔记《Deep Learning of Graph Matching》
深视
11-09 751
图匹配经典论文《Deep Learning of Graph Matching》阅读笔记
基于深度学习的Graph Matching中损失函数的理解
AIWCZ的博客
10-26 702
挖坑
深度学习----CVPR2018最佳论文提名Deep Learning of Graph Matching解读
樱花落瓣
01-04 4256
        ~~~~~~~~        作为一种常用的图数据处理技术，图匹配在计算机
Understanding Deep Learning
08-12
5. **数据预处理与增强**：讨论数据清洗、归一化、标准化、标签编码、数据增强等技术，提高模型的泛化能力。 6. **深度学习框架**：可能包括TensorFlow、PyTorch、Keras等主流框架的使用，以及如何利用这些工具搭建...
Understanding DeepLearning
12-19
监督学习中，模型从标记数据中学习，并使用该数据来优化参数。监督学习的主要应用包括图像识别、自然语言处理和语音识别等。 1.1.1 回归和分类问题 回归问题是监督学习的一种，涉及到预测连续值输出。常见的回归...
深度学习, 资源, Deep Learning: Foundations and Concepts
最新发布
12-22
深度学习的核心在于多层神经网络，这些网络由大量的节点（或称为神经元）组成，每个节点负责处理输入数据的一部分信息，并将结果传递给下一层。这种多层次的结构允许模型逐步学习和理解数据的复杂特征，从原始像素或...
《Deep Learning》 Ian Goodfellow Yoshua Bengio Aaron Courville.zip
08-19
《Deep Learning》是由Ian Goodfellow、Yoshua Bengio和Aaron Courville三位专家共同编著的一本深度学习领域的经典著作。这本书详细介绍了深度学习的基础理论、方法和技术，是许多研究者和工程师的重要参考书。这里...
深度学习+多目标追踪经典文章
10-31
Multiple Object Tracking_A Review.pdf、Real-Time Multiple Object Tracking..pdf等引用频次极高的文章
Graph Matching Networks for Learning the Similarity of Graph Structured Objects
05-07
近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 DeepMind 和谷歌的这项新研究聚焦检索和匹配图结构对象这一极具挑战性的问题，做出了两个重要贡献。 首先，研究者展示了如何训练图神经网络（GNN），使之生成可在向量空间中执行高效相似性推理的图嵌入。其次，研究者提出了新型图匹配网络模型（GMN），该模型以一对图作为输入，通过基于跨图注意力的新型匹配机制进行联合推理，从而计算它们之间的相似性分数。 研究者证明 GMN 模型在不同领域中的有效性，包括极具挑战性的基于控制流图的函数相似性搜索问题，这个问题在检索软件系统的漏洞中起着非常重要的作用。实验分析表明 GMN 模型不止能在相似性学习的环境下利用结构，还能超越针对这些问题手动精心设计的特定领域基线系统。研究主题：图相似性学习问题 图是编码关系结构的自然表征，常常出现在多个领域中。根据图结构数据定义的计算可以用在各种领域中，从计算生物学和化学的分子分析到自然语言理解中知识图或图结构解析的分析都可以。 近几年来，图神经网络（Graph Neural Network，GNN）已经成为可以有效学习结构数据表征、解决各种基于图的监督预测问题的模型了。这样的模型在迭代聚合局部结构信息的传播过程中设计并计算图节点表征，从而对图元素的排列（permutation）具有不变性。然后直接将这些节点表征用于节点分类，或者将它们合并到用于图分类的图向量中。而 GNN 在监督分类或回归以外的问题的相关研究相对较少。 DeepMind 的这篇论文研究的是图结构对象的相似性学习问题，这个问题在现实生活中有很多重要的应用，尤其是在图数据库中基于相似性的搜索。还有一个应用是涉及计算机安全的二元函数相似性搜索，给定的二元函数可能包含有已知漏洞的代码，我们要检查这个二元函数中是否有和已知易受攻击的函数相似的控制流图（control-flow-graph）。这有助于识别闭源软件中易受攻击的静态连结函式库，这是一个很常见的问题 (CVE, 2010; 2018)，现在还没有很好的解决方法。图 1 展示了一个例子，在这个例子中用汇编语言注释的控制流图来表示二元函数。这种相似性学习问题极具挑战性，因为就算是图之间细微的差别也会造成语义上极大的不同，但结构不同的图语义上可能非常相似。因此，对这个问题而言，一个成功的模型应该（1）利用图结构；（2）能从图的结构和学习到的语义中推导出图的相似性。图 1：二元函数相似性学习问题。检查两个图是否相似需要推理图的结构和语义。左边两个控制流图对应使用不同编译器编译的相同函数（因此二者比较相似），但右侧图对应的是不同函数。 解决方案 为了解决图相似性学习问题，该论文研究了 GNN 在这种情况中的使用，探讨了如何用 GNN 将图嵌入到向量空间，并学习这种嵌入模型，从而使向量空间中相似的图靠近、不相似的图分开。这个模型的一个重要特性是它可以将每一个图独立地映射到一个嵌入向量，然后在向量空间中执行相似性计算。因此，可以预先计算并索引大型数据库中的图嵌入，这样就能用快速的最近邻搜索数据结构（如 k-d 树） 或局部敏感哈希算法 (Gionis et al., 1999) 执行高效的检索。 研究者进一步扩展 GNN，提出新型图匹配网络（Graph Matching Networks，GMN）来执行相似性学习。GMN 没有单独计算每个图的图表征，它通过跨图注意力机制计算相似性分数，来关联图之间的节点并识别差异。该模型依赖成对图计算图表征，因此它比嵌入模型更强大，并在准确率和计算之间做出了很好的权衡。 研究者在三个任务上评估了 GMN 和基线模型：仅捕获结构相似性的合成图编辑距离学习任务（synthetic graph edit-distance learning tas），以及两个现实世界任务——二元函数相似性搜索和网格检索，这两项任务都需要推理结构相似性和语义相似性。在所有任务中，GMN 都比基线和结构不可知（structure agnostic）模型的性能更好。在更详细的模型简化测试中，研究者发现 GMN 始终优于图嵌入模型和 Siamese 网络。 该研究的贡献如下： 展示了如何用 GNN 产生用于相似性学习的图嵌入； 提出了新型图匹配网络（GMN），该网络基于跨图注意力匹配来计算相似性； 实验证明，该研究提出的图相似性学习模型 GMN 在多个应用中都有良好的表现，比结构不可知模型和现有的手动建立的基线模型都要好。 深度图相似性学习 给定两个图 G1 = (V1, E1) 和 G2 = (V2, E2)，我们需要一个可以计算两图之间相似性分数 s(G1, G2) 的模型。每个图 G = (V, E) 被表示为节点 V 和边 E 的集合，每个节点 i∈V 都可以和特征向量 x_i 相关联，每条边 (i, j) ∈ E 都可以和特征向量 x_ij 关联起来。这些特征可以表示节点类型、边的方向等。如果一个节点或者一条边不能关联任何特征，那么我们可以将对应向量设置成值为 1 的常量。研究者提出了两个图相似性学习模型：一个是基于标准 GNN 的学习图嵌入的模型；另一个是更为崭新也更加强大的 GMN。图 2 展示了这两个模型：图嵌入模型 图嵌入模型可以将每一个图都嵌入到向量中，然后用向量空间中的相似性矩阵衡量图之间的相似性。GNN 嵌入模型包括三个部分：编码器、传播层和聚合器。 图匹配网络 图匹配网络以一对图作为输入，计算它们之间的相似性分数。和嵌入模型相比，图匹配模型联合成对图计算相似性分数，而不是先将每个图独立地映射到向量上。因此，图匹配模型可能比嵌入模型更加强大，但它需要额外的计算效率。 图匹配网络改变了每个传播层中的节点更新模块，这样不仅可以考虑到每个图的边上的聚合信息，还可以考虑到衡量一个图中的一个节点和其他图中的一或多个节点匹配近日，DeepMind 和谷歌联合进行了一项研究，该研究提出了一种执行相似性学习的新型强大模型——图匹配网络（GMN），性能优于 GNN 和 GCN 模型。该论文已被 ICML 2019 接收。 程度的跨图匹配向量：以调整图的表征，在它们不匹配时放大它们之间的差异。 实验 研究者在三个任务上评估了图相似性学习（Graph Similarity Learning，GSL）框架、图嵌入模型（GNN）以及图匹配网络（GMN）的性能，并将这些模型与其他方法进行了对比。总体上，实验结果表明在图相似性学习任务上，GMN 表现优异，而且始终优于其他方法。 学习图编辑距离（GED) 图 G1 和 G2 之间的图编辑距离即将 G1 变换为 G2 所需的最小编辑操作。通常这些编辑操作包括添加／移除／替换节点和边。图编辑距离是衡量图之间相似性的自然指标，在图相似性搜索中有很多应用。 从下表 1 中可以看出，通过学习特定分布的图，GSL 模型的性能优于一般的基线模型，而 GMN 的性能持续优于图嵌入模型（GNN）。基于控制流图的二元函数相似性搜索 二元函数相似性搜索是计算机安全领域中的重要问题。当我们无法获取源代码时，可以通过二元函数执行分析和搜索，例如在处理商业或嵌入式软件或可疑的可执行程序时。 下图 4 展示了具备不同传播步和不同数据设置的不同模型在二元函数相似性搜索任务上的性能。从图中，我们可以看到： 图嵌入模型和图匹配模型的性能随着传播步的增加而持续提升； 在传播步足够的情况下，图嵌入模型持续优于基线模型； 图匹配模型在所有设置和传播步的情况下都优于图嵌入模型。研究者检测了GMN 模型中不同组件的效果，并将 GMN 模型与图卷积网络（GCN）、图神经网络（GNN）和 GNN/GCN 嵌入模型的 Siamese 版本进行对比。 下表 2 展示了实验结果，表明： GNN 嵌入模型是具备竞争力的模型（比 GCN 模型强大）； 使用 Siamese 网络架构基于图表征学习相似性要比使用预先指定的相似性指标（Euclidean、Hamming 等）好； GMN 优于Siamese 模型，这表明在计算过程早期进行跨图信息交流是非常重要的。
深度学习（Deep Learning）
m0_62870606的博客
08-18 2333
2. 时间相关性的非结构化数据，RNN 算法。五、高级 - 模型优化的原理 不同的模型需要采用的优化函数以及反向传播中参数的优化方法 1. 模型优化的算法介绍，基于随机梯度下降的算法介绍。二、数据理解及处理 分析典型场景中的典型数据，结合具体的算法，对数据进行处理 1. 结构化数据，如何对数据进行读取，进行组织。四、模型验证及问题排查 简单的算法或者模型对典型的场景进行快速验证，并且针对一些频发的问题进行讲解。2. 图像数据，在实际应用过程中的处理方法，怎样做数据的预处理、进行数据增强等。...
Nature:Deep Learning 深度学习综述
因为懂得的博客
06-09 1万+
翻译：https://artificial-intelligence.net.cn/2019/06/05/1559711811/?from=singlemessage&isappinstalled=0 作者：Yann LeCun, Yoshua Bengio ,Geoffrey Hinton 发表及时间：Nature，2015 概念：深度学习允许由多个处理层的计算模型来学习具有多个...
ICLR 2020 图神经学习论文汇总
南有芙蕖
09-08 2752
ICLR 2020 图神经学习论文汇总 Composition-based Multi-Relational Graph Convolutional Networks Graph Neural Networks Exponentially Lose Expressive Power for Node Classification What graph neural networks cannot learn: depth vs width On the Equivalence between Node
Deep Learning（深度学习）学习笔记整理系列之（一）
u011584941的专栏
03-26 898
Deep Learning（深度学习）学习笔记整理系列之（一） 一、概述        Artificial Intelligence，也就是人工智能，就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分
deep learning数据集 net 精度
zhuiqiuk的专栏
05-16 1124
http://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html#43494641522d3130Classification datasets resultsWhat is the class of this image ? Discover the current state...
当小样本遇上机器学习 fewshot learning
热门推荐
mao_feng的博客
12-30 9万+
引言深度学习(deeplearning)已经广泛应用于各个领域，解决各类问题，例如在图像分类问题下，如图1，区分这10类目标的准确率目前可以轻松做到94%。然而，deeplearning是一种datahungry的技术，需要大量的标注样本才能发挥作用。图1 现实世界中，有很多问题是没有这么多的标注数据的，获取标注数据的成本也非常大，例如在医疗领域、安全领域等。因此，我们现在讨论的是...
DeepMatching文献总结：图像拼接、图像匹配、图像检索
沈春旭的博客
07-31 1万+
1. 导读 结合（卷积）神经网络的测度学习，适用于图像拼接image stitching、图像立体匹配 image stereo matching、图像检索image retrieval。 当前三个方向都非常火热，落地项目也很多。 文献主要来源于实验室师兄galad-loth维护的DeepMatching：https://github.com/galad-loth/DeepMatch。因为我也...
Deep Learning（深度学习）之（七）高维数据的机器学习
qwj的博客
06-20 2万+
高维数据的机器学习      Anima Anandkumar 是加州大学埃尔文分校电子工程与计算机科学系的教职人员。她的研究主要集中于『概率隐变量模型』以及『张量算法』的分析和设计，及其在高维数据学习上的应用。 核心结论      * 现代的机器学习涵盖了大量的数据以及变量，构成了高维数据问题。      *  张量方法在处理这种高维数据的机器
使用Deeplearning4j的MLPClassiferLinear训练泰坦尼克数据集
通常，更精细的数据处理策略包括编码（如one-hot编码）和特征缩放，以提高模型的性能。 训练集和测试集的划分是为了评估模型的泛化能力。训练集用于训练模型，而测试集则用来验证模型在未见过的数据上的表现。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值