给个编制-CSDN博客

原创 Sentence Concatenation Approach to Data Augmentation for Neural Machine Translation阅读笔记

AbstractNMT中的长句翻译表现较差，这是低资源语言的一个主要问题。我们假设这个问题是由于训练数据中长句数量不足造成的。因此，本研究提出一种简单的数据扩充方法来处理长句。在该方法中，我们只使用给定的平行语料库作为训练数据，通过连接两个句子生成长句。基于实验结果，我们证实了所提出的数据扩充方法在长句翻译方面的改进，尽管它很简单。同时，将该方法与反翻译相结合，进一步提高了翻译质量。1 Introduction当句子长度超过某一特定值时，NMT的质量就不如SMT，句子长度越大，翻译质量就越低。我们拥有

2022-02-14 21:32:51 527

原创 mixSeq: A Simple Data Augmentation Method for Neural Machine Translation阅读笔记

Abstract数据增强是指通过操纵输入(如添加随机噪声、屏蔽特定部分)来扩大数据集。大多数数据增强技术都是在单一的输入上操作的，这限制了训练语料库的多样性。在本文中，我们提出了一种简单而有效的神经机器翻译数据增强技术，mixSeq，它操作于多个输入及其对应的目标。具体来说，我们随机选择两个输入序列，将它们连接在一起作为一个较长的输入，将它们对应的目标序列作为一个放大的目标，并在增强数据集上训练模型。在9个机器翻译任务上进行的实验表明，这种简单的方法提高了基线的显著性。我们的方法可以进一步与基于单输入的数

2022-02-13 17:18:55 673

原创 Data Augmentation by Concatenation for Low-Resource Translation: A Mystery and a Solution阅读笔记

Abstract在本文中，我们研究了连接的驱动因素，连接是一种简单但有效的数据增强方法，用于低资源的神经机器翻译。相反，我们证明了改进来自于其他三个与话语无关的因素:语境多样性、长度多样性和(在较小程度上)位置转移。1 Introduction相反，我们将连接视为一种数据增强或干扰方法(这种方法不需要对文本进行任何修改，这一点很好，不像数据增强方法会打乱词序或用自动选择的单词替换单词。连接随机的句子比连接连续的句子更容易，因为许多并行语料库丢弃了文档边界、丢弃了句子对，甚至重新排列句子对，所以很难知

2022-02-09 22:49:29 631

原创 MASK-ALIGN: Self-Supervised Neural Word Alignment阅读笔记

MASK-ALIGNAbstract词对齐是一种旨在对齐源句和目标句之间的翻译等价词的方法目前的无监督神经对齐方法主要集中于从神经机器翻译模型中诱导对齐，而没有利用目标序列中的完整上下文。提出了MASK-ALIGN，一种利用目标侧全上下文的自监督单词对齐模型。模型并行地屏蔽每个目标语言token，并根据源语言token和剩余目标语言token预测它。所基于的假设：对恢复被屏蔽目标令牌贡献最大的源令牌应该是对齐的。方法：提出Leaky Attention，它缓解了特定token(如周期)上的

2022-01-22 16:36:54 1755

原创 Survey of Low-Resource Machine Translation阅读笔记

文章目录1 Introduction2 Data Sources2.1 Searching Existing Data Sources2.2 Web-crawling for Parallel Data2.3 Low-resource Languages and Web-crawling2.4 Other Data Sources3 Use of monolingual data3.1 Integration of external language models3.2 Synthesising Paral

2021-12-15 20:45:04 2732

原创 Congested Crowd Instance Localization with Dilated Convolutional Swin Transformer阅读笔记

Abstract研究如何在高密度人群场景中实现精准的实例定位，以及如何缓解传统模型由于目标遮挡、图像模糊等而降低特征提取能力的问题。为此，我们提出了一 Dilated Convolutional Swin Transformer（DCST）对于拥挤的人群场景Specifically， a window-based vision transformer is introduced into the crowd localization task, which effectively improves th

2021-10-06 16:59:51 496 5

原创 DS-NLCsiNet Exploiting Non-Local Neural Networks for Massive MIMO CSI Feedback阅读笔记

Abstract我们提出DS-NLCsiNet。通过利用non-local blocks，可以有效捕获远程依赖关系。此外采用dense connectivity增强细化模块。仿真结果表明，与现有的压缩方案相比，DS-NLCsiNet在相同的压缩比下具有更高的CSI反馈精度和更好的重建质量。1 Introduction这封信的主要贡献如下：我们提出了一种创新的基于DL的CSI反馈和恢复机制，称为DS-NLCsiNet，它具有在实际FDD-MIMO系统上实际部署的潜力。在DS-NLCsiNet中，

2021-09-15 20:01:26 253

原创 SALDR：Joint Self-Attention Learning and Dense Refine for Massive MIMO CSI Feedback With Multiple Com

Abstract近年来，DL被广泛用于解决上述问题。在这封信中我们提出一种利用self-attention learning和dense refine（SALDR）的神经网络，它提高了CSI反馈的准确性。此外，还设计了一个统一的译码器SALDR-U，在不改变任何参数的情况下实现CSI反馈的不同压缩比。1 Introduction在这封信中，我们提出了一种新的大规模MIMO-CSI反馈方法，该方法使用联合自注意学习和密集细化（SALDR）以及多压缩比自动编码器该方法采用联合SALDR算法，提高了CSI

2021-09-14 19:18:03 267

原创 Attention Model for Massive MIMO CSI Compression Feedback and Recovery阅读笔记

Abstract本文旨在提高恢复性能，降低时间复杂度。首先在编码器网络中，引入LSTM网络；解码器中增加了注意力机制；第三，在训练过程中使用了early stopping。1 Introduction在CsiNet的基础上，做了以下几点改进：在编码器部分，引入LSTM网络来代替原来的全连接网络。当压缩比CR很高时，LSTM网络可以充分利用信道矩阵之间的相关性并保留重要信息。受SEnet的启发，在CNN中引入注意力机制。模型可以充分利用CNN的特征图。我们的model称为Attention-Csi

2021-09-14 15:41:59 539

原创 Deep Learning for Massive MIMO CSI Feedback阅读笔记

Abstract在频分双工模式下，the downlink CSI应通过反馈链路发送到基站，以便实现MIMO的潜在增益。使用DL来开发 CsiNet，一种新的CSI感知和反馈机制。它学习从样本中如何有效地使用信道结构。CsiNet学习从CSI到接近最佳数量地表示（码字）的转换，以及从码字到CSI的逆变换。CsiNet能够保持有效的波束形成增益。1 IntroductionMIMO中，基站侧配备的成百上千根天线，实现大吞吐量的信息传输，主要是通过BS端的CSI获得的。在FDD的MIMO系统中，训练期间，

2021-09-02 15:31:54 2137 2

原创 Deep Learning-Based CSI Feedback Approach for Time-V arying Massive MIMO Channels阅读笔记

Deep Learning-Based CSI Feedback Approach for Time-V arying Massive MIMO Channels阅读笔记在频分双工网络中，大规模MIMO系统依靠CSI反馈来执行预编码并获得增益。然而大量的天线对传统CSI反馈方法提出挑战，导致了过多的反馈开销。提出一个实时的CSI反馈架构，CsiNet-long short-term memory（LSTM）。CsiNet-LSTM从训练样本中直接学习空间结构并结合时间相关性。1 Introduction

2021-08-31 21:09:09 1211 2

原创 Lightweight Convolutional Neural Networks for CSI Feedback in Massive MIMO阅读笔记

AbstractIn frequency division duplex mode of massive multiple-input multiple-output systems，the downlink CSI必须通过反馈链路发送给基站。然而由于反馈链路的带宽限制，向基站发送CSI是昂贵的，在下行链路的通信中，实现高性能低复杂度的CSI feedback是一个挑战。由于过多参数和高计算复杂度，该网络不能有效的应用于移动端。因此提出一种新的轻量级CSI反馈网络。1 IntroductionMIM

2021-08-29 18:56:12 858

原创 Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback阅读笔记

Abstract在MIMO系统中，利用发射机可用的信道状态信息（CSI）进行预编码对于提高频分双工（FDD）网络的性能至关重要。在MIMO系统中，在CSI feedback transmission中压缩大量信道状态信息是一个主要挑战。本文中我们提出使用RNN来学习时间相关性，并采用深度可分离卷积来收缩模型。特征提取模块也是通过研究不同结构中解耦的时空特征表示精心设计的。结果表明，该方法在恢复质量和准确性方面优于现有方法，并且在低压缩比下具有显著的鲁棒性。1 Introduction基于RecCsiN

2021-08-27 20:51:31 491

原创 Serialized Multi-Layer Multi-Head Attention for Neural Speaker Embedding阅读笔记

主要看模型方法Abstract提出一个串行多层多头注意力针对neural speaker embedding，之前是将一帧的特征聚集起来进行表示。我们提出利用堆叠式的self-attention机制的分层架构获得更精细的特征。串行注意力机制包含一堆self-attention模块，多层堆叠可以学出更多有区别的embedding。1 Introduction略2 Attention in Neural Speaker EmbeddingNeural speaker embeddings是使用DNN

2021-08-21 21:20:37 396

原创 Uformer: A General U-Shaped Transformer for Image Restoration阅读笔记

Uformer: A General U-Shaped Transformer for Image Restoration阅读笔记Abstract构建一个分层的编码-解码器，并使用Transformer block进行图像恢复。Uformer两个核心设计：1. local-enhanced window Transformer block（使用非重叠窗口自注意力降低计算量，并在feed-forword network上使用depth-wise convolution增强捕获局部上下文的能力）2.探索三

2021-06-25 15:59:41 3135 2

原创 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows阅读笔记

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows阅读笔记Abstract将Transformer从语言到视觉迁移过来面临两个挑战：1.视觉实例的规模差异很大 2. 与单词相比，图像分辨率很高。提出分层Transformer解决问题，通过移位窗口来解决计算，通过在不重叠的窗口之间计算Self-attention，同时允许跨窗口连接（cross-window connection）来提高计算效率。这种分层结构可以

2021-06-21 09:37:06 263 1

原创基于深度学习的三维点云智能分析——北京科技大学自动化系樊彬老师

基于深度学习的三维点云智能分析——北京科技大学自动化系樊彬老师研究背景许多应用需要三维数据的理解机器人、增强现实、自动驾驶、医学图像处理（CT、核磁共振）广泛应用前景和现实的应用基础三维数据有多种表示方式：多视角图片体素网格mesh数据（工业界）深度图像（RGB-D）3D点云，是由原始传感器输出的3D数据，一般是激光雷达Li-Dar 数据格式简单：一组3D坐标+额外的属性上述的体素网格、mesh数据都可以通过点云转化得到三维点云研究的任务，大致分为：形状分类、形

2021-06-19 14:01:07 1652

原创 Multimodal Research in Vision and Language阅读笔记

Multimodal Research in Vision and Language A Review of Currentand Emerging Trends阅读笔记Abstract最近，增强了视觉和语言交叉领域的研究兴趣，并且应用众多且发展迅速。1 Introduction通常情况下，我们以多模态形式感知现实世界的数据和活动，涉及多个信息源，尤其是在视觉和语言的交汇处，这引发了视觉语言的研究，包括更复杂的任务以及对交互式和可解释系统的需求。视觉和语言的结合，出现各种挑战性的任务：如视觉语言导

2021-05-28 20:37:14 1073

原创 Learning Texture Transformer Network for Image Super-Resolution阅读笔记

Learning Texture Transformer Network for Image Super-Resolution阅读笔记Abstract图像超分辨率，目的从低分辨率图像中恢复出逼真的纹理。现有方法忽略了使用注意力机制来恢复高分辨率纹理，因此，我们提出一个新的图像超分辨率纹理转换网络，其中LR和Ref图像被作为transformer中的queries和keys。TTSR由四个紧密相关的模块组成，这些模块针对图像生成任务进行了优化，包括一个由DNN设计的可学习纹理提取器、一个相关性嵌入模块、

2021-05-06 22:03:58 579

原创 Inpainting Transformer for Anomaly Detection阅读笔记

Inpainting Transformer for Anomaly Detection阅读笔记AbstractCV中的异常检测任务是识别偏离一系列正常图像的图像的任务。一种常见的方法是训练深度卷积自动编码器来修复图像的覆盖部分，并将输出与原始图像进行比较。通过仅在无异常样本上训练，假设模型不能正确重建异常区域。假设较远区域的信息是有益的，所以提出一种完全基于self-attention的方法来解决。提出修复变换器(InTra)用来修复大序列图像块中的损坏区域。在MVTec AD数据集上实现了SOTA结

2021-04-29 21:59:24 2018 4

原创 CutPaste Self-Supervised Learning for Anomaly Detection and Localization阅读笔记

CutPaste Self-Supervised Learning for Anomaly Detection and Localization阅读笔记Abstract为了建立高性能的缺陷检测模型，提出一个两阶段框架，只用正常训练数据来构建异常检测器，首先学习自监督深度表示，然后在表示上构建一个生成的单分类器。通过对剪切粘贴中的正常数据进行学习表示，剪切粘贴是一种简单的数据增强策略，对大图像进行随机位置粘贴。直接训练提高了3.1AUCs，在imageNet上对预训练模型进行迁移学习，达到了SOTA 96

2021-04-26 16:06:36 1685 6

原创 Image denoising using deep CNN with batch renormalization阅读笔记

ImagedenoisingusingdeepCNNwithbatchrenormalization阅读笔记AbstractDCNN的两个缺点：（1）训练更深的CNN去噪任务非常困难；（2）大多数更深层次的CNN存在性能饱和问题。所以本文提出BRDNet，批处理重正则化去噪网络。具体：通过组合两个网络来增加网络的宽度，从而获得更多的特征。同时还采用空洞卷积提取更多信息用于去噪任务。1 Introduction主要贡献：提出了一种新的DCNN图像去噪方法，通过增加宽度而不是深度，以增强去噪网络的

2021-04-05 16:14:40 924

原创 Deep Residual Shrinkage Networks for Fault Diagnosis阅读笔记

Deep Residual Shrinkage Networks for Fault Diagnosis阅读笔记Abstract本文提出了一种新的深度学习方法——深度剩余收缩网络，以提高高噪声振动信号的特征学习能力，达到较高的故障诊断精度。软阈值作为非线性变换层被插入到深层结构中，以消除不重要的特征。通过神经网络作为可训练模块，来自动确定阈值。1 Introduction现有的机械传动系统故障诊断算法可分为两类，即基于信号分析的方法和基于机器学习的方法[4]。本文提出两种深度残差收缩网络，DRS

2021-04-04 21:39:34 337

原创 DeFLOCNet: Deep Image Editing via Flexible Low-level Controls阅读笔记

DeFLOCNet: Deep Image Editing via Flexible Low-level Controls阅读笔记Abstract图像编辑场景中，输入有空白的图像，期望网络能自动填充该区域。现有方法时将输入图像和用于CNN输入的低级控件相结合，但是特征不足，不稳定。本文提出一种基于深度编码器-解码器神经网络的去模糊神经网络。在每个跳跃连接层，我们设计了一个结构生成块。将控件直接注入每个结构生成块，用于CNN特征空间草线图和颜色特征的传播。同时包含一个纹理生成和细节增强的解码器分支。

2021-04-04 09:36:19 525

原创 Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders阅读笔记

Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders阅读笔记Abstract卷积自动编码器已经成为图像数据无监督缺陷分割的流行方法。但是，通常方法是通过lpl^plp距离，对每个像素的重建误差设定阈值来执行的。然而，每当重建包括边缘周围的轻微定位不准确时，该过程会导致大的残差。当亮度保持大致一致时，也不能显示视觉上明显的缺陷区域。我们表明，这些问题阻止了这些方法应用于

2021-04-03 20:40:34 637

原创 Multi-attentional Deepfake Detection阅读笔记

Multi-attentional Deepfake Detection阅读笔记Abstract之前的大多数算法都是Deepfake建模为普通的二进制分类问题。但是在这项任务中，真假图像之间的差异往往是微妙的和局部的，所以这类普通的解决方法不是最佳的。本文中讲Deepfake表述为一个细粒度的分类问题，并提出了一种新的多注意力的Deepfake检测网络。具体来说，由三部分组成。多个空间注意力头，使网络关注不同的的局部区域；纹理增强块，放大浅层特征中的细微伪影；在注意力图的指导下，聚合低层纹理特

2021-04-02 20:45:36 2382 4

原创 Pre-Trained Image Processing Transformer阅读笔记

Pre-Trained Image Processing Transformer阅读笔记Abstract我们研究了底层计算机视觉任务（如去噪，超分辨率和去雨），开发了IPT。只通过一个预训练好的模型，IPT在各种低水平的benchmark上达到state-of-the-art的水平。1 Introduction图像处理是更全局的图像分析，或者是计算机视觉系统的低级部分的一个组成部分。图像处理的结果很大程度上影响后续的对图像数据的识别和理解。[56, 22]应用基于self-attention的模

2021-03-28 14:37:22 950

原创 Incorporating Convolution Designs into Visual Transformers阅读笔记

Incorporating Convolution Designs into Visual Transformers阅读笔记Abstract纯Transformer架构需要大量的训练数据或者额外的监督，才能获得与CNN相当的性能。为克服限制，提出一种新的Convolution-enhanced image Transformer（CeiT）它结合了神经网络在提取低层特征、增强局部性方面的优势和变换器在建立长距离依赖方面的优势。对原变形器做了三点修改:设计了一个Image-to-Tokens(I2T

2021-03-27 18:40:40 1190 1

原创 Transformer for image quality assessment阅读笔记

Transformer for image quality assessment阅读笔记Abstract提出一种在由CNN提取的特征图上使用浅层Transformer编码器的机构。Transformer采用自适应位置编码来处理任意分辨率的图像。1 IntroductionTransformer完全基于注意力机制，包括self-attention and encoder-decoder attention。近期transformer已经应用到CV任务上，如DETR和VIT。DETR使用encoder

2021-03-27 13:30:51 1503 2

原创 Reconstruction by inpainting for visual anomaly detection阅读笔记

Reconstruction by inpainting for visual anomaly detection阅读笔记Abstract视觉异常检测，解决图像中偏离正常外观的区域分类和定位问题。一种流行的方法是在无异常图像上训练自动编码器，并通过计算输入图像和重建图像之间的差异来执行异常检测。这种方法假设自动编码器将无法准确重建异常区域。但在实际中，神经网络拟合能力太强，导致异常图像也能够被重建，从而降低了检测能力。如果Autoencoder看不到异常像素，那么精确重建的可能性就小得多。因此，我

2021-03-27 10:44:52 2635 1

原创 Is Space-Time Attention All You Need for Video Understanding?阅读笔记

Is Space-Time Attention All You Need for Video Understanding?阅读笔记Abstract提出一种无卷积的视频分类方法，完全建立在对空间和时间的自我关注上。TimeSformer：直接通过帧级别的patches中学习时空特征，来使Transformer架构适应视频。实验中对比不同self-attention方案，提出divided attention，其中时间注意和空间注意分别应用于每个块。1 Introduction首先提出transfor

2021-03-25 19:14:20 1164

原创 Video Transformer Network阅读笔记

Video Transformer Network阅读笔记AbstractVTN, a transformer-based framework for video recognition.抛弃3D ConvNets，引入了一种通过关注整个视频序列信息来对动作进行分类的方法。能够通过单个端到端的通道进行完整的视频分析。并提出了VTN特性的消融研究以及准确性和推理速度之间的权衡。1 Introduction基于transformer在许多任务上的应用，CNN的优势不在[8, 2, 27, 31]

2021-03-20 19:37:01 715

原创 Learning Memory-guided Normality for Anomaly Detection阅读笔记

Learning Memory-guided Normality for Anomaly Detection阅读笔记Abstract我们解决异常检测的问题，即检测视频序列中的异常事件。传统上，异常检测方法，通过重建输入的视频帧来学习正常情况的模型，训练时没有异常样本，测试时使用重建误差来量化异常的程度。这些方法的主要缺点就是没有考虑正常样本的多样性，CNNs的能力太强，对于输入是异常的视频帧样本，也能重建的像异常视频帧，从而导致重建误差较小，无法区分异常数据。为了解决这个问题，提出一种无监督的异常检

2021-03-19 10:24:16 610 2

原创 GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training阅读笔记

GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training阅读笔记Abstract异常检测任务，就是当数据集由于另一类（异常）的样本量不足而高度偏向一类（正常）时，从异常中确定正常数据。由于异常情况的类别不可知同时数量较少等问题，导致有监督的分类学习问题不容易解决。所以引入半监督的学习方式。半监督的学习方式：数据集只有正常类，测试集包括正常和异常类。无监督的学习方式：数据集包括正常类和异常类，测试集包括正常和异常类。

2021-03-17 20:36:16 704

原创 End-to-End Video Instacne Segmentation with Transformers（VisTR）阅读笔记

End-to-End Video Instacne Segmentation with Transformers（VisTR）阅读笔记https://arxiv.org/abs/2011.14503AbstractVisTR任务是一个直接的端到端并行序列解码、预测问题。输入是一个由多个图像帧组成的视频VisTR直接按照顺序输出视频中每个实isTR例的masks序列核心是一种新型的有效的实例匹配和分割策略。从整体上监督和分割时序列级的实例。VisTR实现了VIS模型中的最高速度，在YouT

2021-03-14 11:04:10 939

原创 Deep Learning For Anomaly Detection：A Survey阅读笔记

Deep Learning For Anomaly Detection：A Survey阅读笔记文章目录Deep Learning For Anomaly Detection：A Survey阅读笔记Abstract1、Introduction2、What are anomalies?3、What are novelties?4、Motivation and Challenges: Deep anomaly detection techniques5、Related Work6、Our Contribut

2021-03-09 17:24:32 1344 1

原创 Image/Video Deep Anomaly Detection: A Survey阅读笔记

Image/Video Deep Anomaly Detection: A Survey阅读笔记文章目录Image/Video Deep Anomaly Detection: A Survey阅读笔记Abstract1、Introduction2、Problem Formulation2.1、pNp_NpN：Modeling Normal Data2.2、DDD：Detection Measure3、SupervisionSupervisedSemi-supervisedUnsupervised（uuu

2021-03-08 22:25:00 619

空空如也

空空如也