- 博客(10)
- 收藏
- 关注
RSS订阅
原创 文本生成任务之营销文本生成（Seq2seq+attention、Pointer Generator Network、Converage、Beam Search、优化技巧、文本增强）
引言文本生成（Text Generation）具体可以细分成文本摘要、机器翻译、故事续写等几种任务。本项目主要用到的是文本摘要（Summarization）的技术。我们生成摘要的方式是选取其中关键的句子摘抄下来。相反，生成式摘要则是希望通过学习原文的语义信息后相应地生成一段较短但是能反应其核心思想的文本作为摘要。生成式摘要相较于抽取式摘要更加灵活，但也更加难以实现。本项目我们将会先用生成式摘要的方法构建一个 Seq2seq+Attention的模型作为 baseline，然后构建一个结合了生成式和抽取式
2020-08-29 15:07:29
9749
56
原创 记录一些Pytorch方便的函数＜即插即用＞
引言Pytorch自己有一些函数可以实现很复杂的一些功能，自己以前想创建一个tensor，经常傻乎乎的创建一个空Tensor，然后再慢慢调整，不但不美观，而且有的时候时间复杂度很高。这个博客记录了一些Pyrotch的很方便的函数，想实现某个功能时，可以去查阅一下有没有一步到位的函数。TORCH.FULLtorch.full(size, fill_value, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=F
2020-08-30 23:16:30
369
原创 ECCV 2020 ——RobustScanner: Dynamically Enhancing Positional Clues for Robust Text Recognition
引言摘要基于注意力的编解码框架最近在场景文本识别方面取得了令人瞩目的成果，并且随着识别质量的提高，出现了许多变体。然而，它在无上下文文本（如随机字符序列）上的性能较差，这在大多数实际应用场景中是不可接受的。本文首先深入研究了译码器的解码过程。实验发现，典型的字符级序列译码器不仅利用了上下文信息，而且还利用了位置信息。现有的大量依赖上下文信息的方法导致了注意力漂移的问题。为了抑制注意力漂移带来的副作用，我们提出了一种新的位置增强分支，并将其输出与解码器注意模块的输出动态融合，用于场景文本识别。具体地说，它
2020-08-18 21:42:42
836
原创 基于少量标记样本的真实场景中的文本识别（Text Recognition in Real Scenarios）
引言摘要场景文本识别（STR）由于其广泛的应用，一直是计算机视觉领域的研究热点。现有的研究主要集中在学习一个通用的模型，用大量的合成文本图像来识别无约束的场景文本，并取得了实质性的进展。然而，这些方法在许多实际场景中并不十分适用：1）需要较高的识别精度，而2）缺少标记样本。为了解决这一挑战性问题，本文提出了一种在合成源域（具有多个合成标记样本）和一个特定目标域（只有一些或几个真实标记样本）之间建立序列自适应的方法。这是通过一种注意机制同时学习每个字符的特征表示，并通过对抗性学习建立相应的字符级潜在子空间
2020-08-17 22:47:45
1016
1
原创 Transformer的个人笔记
引言Google的论文《Attention is all you need》一提出，为nlp的很多任务翻开了新的一页。无论是知乎还是博客上都有很多生动具体的见解，我这里会结合自己阅读论文以及代码实现，对Transformer的一些个人理解和个人思考。先来看一下这篇论文的摘要传统的Seq2seqRNN网络存在很明显的缺点：首先很难像CNN一样并行化处理，这样无法捕捉并行化特征其次很难想CNN一样做的很深，像CNN一样做很多层在RNN中实现效果不好。长距离依赖TransformerTran
2020-08-09 19:58:42
576
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人