AI算法后丹修炼炉-CSDN博客

原创防止神经网络过拟合

由于有大量的参数（数千甚至有时是数百万），神经网络具有很大的自由度，可以适应各种复杂的数据集。这种特性可以胜任许多“传统”机器学习时代难以取得进展的领域，例如图像识别，对象检测或自然语言处理。但有时它们的最大优势会成为潜在的劣势。缺乏对模型学习过程的控制可能会导致过拟合-这种情况是因为神经网络非常适合训练集，以致难以归纳和预测新数据。了解此问题的根源以及防止其发生的方法，对于成功设计神经网络至关重要。你如何知道神经网络是否过拟合？训练，开发和测试集实际上很难检测到模型过拟合。当模型已经投入生

2021-01-01 00:15:16 414

原创深入研究深度网络背后的数学

引言进一步了解神经网络的工作原理，如标题所示，这是一篇涉及大量数学的文章。图1 训练集的可视化作为一个解决数据集的二进制分类问题，如上图1所示。为了解决这个问题，使用图2所示的结构的神经网络。-五个全连接层，不同数量的单元。隐藏层使用ReLU作为激活函数，使用Sigmoid作为输出层。图2 神经网络架构keras方案from keras.models import Sequentialfrom keras.layers i

2021-01-01 00:11:46 217

原创重探RUST event

重探Rust事件今天主要讲如何编写Rust事件为每个接收器编写的自定义转换。最终声明为：声明并使用发射器和接收器的变量，分别为emitter1，r1和r2。可以使用想要的任何名称作为标识符。通过使用重复捕获，将它们与唯一的闭包配对，可以使多个接收器具有可变的功能。另请注意，当声明MySignal <MySignalReceiver，MySignalData>时，即使这些标识符都不存在，也将通过宏扩展使用提供的名称来创建它们。本文包含了我认为是出色的解决方案。Signal 和 Re

2020-12-20 10:08:21 673 1

原创如何使用Actix Rust构建REST API来执行系统命令

可以在应用程序服务器或数据库服务器中使用此守护程序，以使用其余API调用执行系统命令。今天，我将展示如何创建一个Rest API来执行服务器中的系统命令。假设你已将数据库移至后端服务器以外的其他服务器，并且希望通过后端API来控制数据库服务器。为此，我们必须在数据库服务器中创建一个守护程序。第1步-提取依赖关系[dependencies]actix-web = "2.0"actix-rt = "1.0"serde = "1.0.114"simple_logger = "1.6.0"lo

2020-12-20 10:02:29 760 1

原创 NeurIPS2020|ConvBERT：通过基于跨度的动态卷积改善BERT

本文由新加坡国立大学等联合提出，提出ConvBERT提高BERT的性能。BERT及其变体预训练语言模型在各种自然语言理解任务中都取得了很高的性能。但是，BERT严重依赖于全局自注意力块，因此会有很大的内存和计算成本。尽管它的所有注意力头会查询整个输入序列以从全局角度生成注意力特征图，但某些注意力头仅需要学习局部依赖关系，这意味着存在计算冗余。因此，作者提出了一种基于跨度的动态卷积，以取代这些自注意力头来直接对局部模型进行建模依赖性。卷积头，以及其余的自注意力头形成了一个混合注意力块，在全局和局部上.

2020-10-31 22:44:18 1001

原创 NeuIPS2020|视频表示学习的自监督协同训练

本文由牛津大学提出作者主要研究针对视觉的自监督视频表示学习：（i）研究了在基于实例的信息噪声对比估计（InfoNCE）训练中添加语义类肯定句的好处，表明这种形式的监督式对比学习可以明显改善性能；（ii）提出了一种自监督协同训练方案，通过使用一个视图获取同一数据源的正视图样本来利用同一数据源的不同视图，即RGB流和光流的互补信息来改善InfoNCE损失。（iii）在两个不同的下游任务（动作识别和视频检索）上全面评估所学表示的质量。引言作者以自监督视频表示学习为目标，提出一个问题：实例判别是否在充.

2020-10-31 00:01:49 906

原创 NeuIPS2020|生成视图综合

本文由TU，Google Research与NVIDIA等联合提出。内容创建对于虚拟现实之类的应用程序至关重要。最新的图像合成方法通过从单个输入图像生成新视图，或通过将语义图转换为逼真的图像来简化此任务。本文提出了生成视图综合（GVS），它可以在给定单个语义图的情况下合成场景的多个真实视图。现有的应用（例如语义到图像的翻译以及单眼视图的合成）无法捕获场景的结构。本文的方法与场景3D布局协调地解决了语义到图像的转换，从而产生了保留语义结构的几何上一致的新颖视图。首先将输入的2D语义图提升到特征空间中场景.

2020-10-29 10:49:05 510

原创论文推荐-计算机视觉

推荐几篇这几天看到的个人认为比较有意思的paper，1.Removing the Background by Adding the Background: Towards BackgroundRobust Self-supervised Video Representation Learning通过添加背景的方式移除背景，算是一种新的自监督的视频表示学习。目的：提出了一种新颖的对时间敏感的背景擦除（TBE）方法进行自监督学习。这种方法最小化了样本之间的特征距离以及通过时空变换和视频内混合构建的样本的

2020-09-17 17:17:47 709 1

原创比空间池化更好的条带池化方法

本文由新加坡国立大学，Oxford，南开大学联合提出。背景：空间池化在捕获用于场景分析等像素级预测任务的远程上下文信息方面非常有效。传统池化：规则形状N×N的常规空间池化本文的方法：引入一种称为条带池化的新池化策略来重新考虑空间池化的公式，该策略考虑了一个长而窄的核，即1×N或 N×1。本文基于条带池化，通过以下步骤研究空间池化体系结构设计：1）引入一种新的条带池化模块，该模块使骨干网络可以有效地对远程依赖进行建模2）提出了一个以各种空间池化为核心的构建块3）比较条带池化和常规空间池化技术的.

2020-08-27 09:44:06 1649

原创 ECCV2020视频插帧方法

背景：视频插值通过合成两个连续的帧之间的中间帧来提高视频序列的时间分辨率。解决方法：本文提出了一种新的基于深度学习的双边运动估计的视频插值算法。大致流程：首先，使用双边运动网络，以准确估算双边运动。然后，近似双向运动以预测另一种双边运动。使用估计的双边运动扭曲两个输入帧。接下来，开发动态过滤器生成网络以产生动态混合过滤器。最后，使用动态混合映射来组合变形的帧生成中间帧。1.引言背景：低的时间分辨率会导致混叠，产生突变的运动伪像，并降低视频质量。时间分辨率是影响视频质量的重要因素。传统方法：为了.

2020-08-25 22:35:22 5089 1

原创边缘相关图表示学习与推理在人脸解析中的应用

本文由北大与京东AI联合提出，旨在解决人脸解析中的边缘相关的图表示学习与推理任务。人脸解析：将每个脸部组件的像素标记推断出来以往的方法虽然在人脸解析任务中效率较高，但是存在一个缺点：忽略了不同面部区域之间的相关性。本文的方法：通过学习图表示来对区域关系进行建模和推理，并利用区域之间的边缘信息来优化抽象。大致流程：首先将人脸图像编码到具有相似特征的像素的集合，然后通过在图上的各个顶点之间传播信息来了解区域之间的关系并为其推理。最后，学习的图表示将投影回像素网格进行解析。1.引言脸部解析：为面部每.

2020-08-12 15:52:01 436

原创 CVPR2020-探索图像识别中的自注意力

本文首先说明自注意力可以作为图像识别模型的基本组成部分。然后旨在探索自注意的变体并评估其对图像识别的有效性。重点考虑两种形式的自注意力：一个是pairwise自注意力，它主要对标准点积的注意力进行改进，从根本上讲是一个集合运算符；另一个是patchwise自注意力，它比卷积网络的性能更好。本文提出的pairwise自注意力网络匹配或优于它们相应的卷积网络，而patchwise模型则明显优于卷积基线。同时作者进行一些实验以探讨子注意力对表示学习的鲁棒性，得出结论：自注意力网络在鲁棒性和泛化性方面可能有.

2020-08-06 11:09:12 3279 2

原创 ICML2020-PowNorm：重新思考transformer中的batch-normalization

这篇论文由UCB的研究者提出，旨在研究transformer中新的正则化方法。自然语言处理NLP中使用的神经网络模型的标准归一化方法是层归一化LN。与计算机视觉中广泛采用的批处理规范化BN不同。 LN在NLP中的首选原因主要是由于观察到使用BN会导致NLP任务的性能显着下降。本文对NLP transformer模型进行了系统研究，以了解为什么BN与LN相比性能较差。在整个训练过程中，整个批次维度上的NLP数据统计量都显示出较大的波动。如果实施BN，则会导致不稳定。为了解决这个问题，本文提出功率归一化（P.

2020-08-05 23:57:08 2448

原创 ICML2020：预训练的GAN在有限数据下的生成器

生成对抗网络可以生成高度逼真的图像，通常与真实图像是无法区分的。这样生成的大多数图像都没有包含在训练数据集中，说明用GAN生成的数据对增强数据集的能力很强。尽管在数据有限的情况下这种情况特别重要，但是基于有限数据训练GAN的问题仍然存在。为了弥补这一缺陷，本文结合迁移学习的概念，利用在大规模数据集上经过预训练的现有GAN模型，引入其他知识。通过自然图像生成的演示，证明了预训练GAN的生成器和生成器的低级过滤器可以迁移以促进在训练数据有限的情况下，在感知上不同的目标域中生成图像。为了使传输的滤波器进一步适应.

2020-07-31 22:16:39 1932

原创 CVPR2019：无监督深度追踪

本文提出了一种无监督的视觉跟踪方法。与使用大量带注释数据进行监督学习的现有方法不同，本文的CNN模型是在无监督的大规模无标签视频上进行训练的。动机是，强大的跟踪器在向前和向后预测中均应有效（即，跟踪器可以在连续帧中向前定位目标对象，并在第一个帧中回溯到其初始位置）。在Siameses相关过滤器网络上构建框架，该网络使用未标记的原始视频进行训练。同时提出了一种多帧验证方法和一种对成本敏感的损失，以促进无监督学习。由于没有bells & whistles，本文的无监督跟踪器可达到完全受监督的在训练过程.

2020-07-25 14:33:12 1574 2

原创 CVPR2020:FiltReg一种新的刚体模型的参数化概率配准方法

概率点集配准方法因其对噪声，离群值和遮挡的鲁棒性而受到越来越多的关注。但是，这些方法往往比流行的迭代最近点（ICP）算法要慢得多，后者严重限制了它们的可用性。本文中提供了一种新颖的概率配准方法，该方法可以实现最先进的鲁棒性，并且比现代ICP实施方案具有更快的计算性能。这是使用有效的概率公式实现的。点集配准被转换为最大似然估计，并使用EM算法求解。通过简单的扩充，EM中的E步可以表述为过滤问题，从而能够利用低效的高斯滤波方法。另外定制四面体滤波器[1]可以提高效率，同时又可以为本文的任务保留足够的精度。此外.

2020-07-24 15:07:03 897 2

原创未修饰视频中单个时间戳监督的动作识别

识别视频中的动作依赖于训练期间的标记监督，通常是每个动作实例的开始和结束时间。这种监督不仅是主观的，而且获取成本很高。弱视频级别的监督已成功地用于未修剪视频中的识别，但是当训练视频中不同动作的数量增加时，它还是会面临挑战。本文提出的一种方法，由未修剪视频中位于每个动作实例周围的单个时间戳进行监督学习。根据这些时间戳初始化的采样分布来代替昂贵的动作范围。然后，使用分类器的响应来迭代更新采样分布。作者证明了这些分布收敛于判别性动作片段的位置和程度。作者在三个数据集上对其方法进行了评估，以实现细粒度的动作识别，.

2020-07-23 15:10:51 533

AI算法后丹修炼炉