追一科技-CSDN博客

原创一文读懂文本处理中的对抗训练

一文读懂文本处理中的对抗训练本作作者：追一科技算法研究员 Leo, 算法工程师 WenZe背景与研究意义深度学习技术的快速发展，大幅提升了众多自然语言处理任务（比如文本分类，机器翻译等）的效果，越来越多的深度学习模型被用于现实生活中。但是深度学习模型本质上的黑箱属性，也为实际应用带来了潜在的风险。早在 2014 年，Szegedy et al.[1]发现只要对深度...

2019-07-17 15:13:35 812

原创 2019年NLP的高光时刻，会从NL2SQL开始么？

2019年NLP的高光时刻，会从NL2SQL开始么？作者：追一科技算法研究员 Wayne自2015年新一轮人工智能浪潮涌起，先是视觉、语音各领风骚，小火慢炖的NLP从2018下半年开始，也走入了高光时刻：BERT、GPT-2.0等一系列里程碑意义的模型横空出世，创新应用场景次第打开。2019年，NLP又会给大家带来哪些惊喜呢？作为智能语义的领跑者，追一科技一直在...

2019-07-17 15:06:27 1932

原创《拆解 XLNet 模型设计，回顾语言表征学习的思想演进》

深度解析 XLNet作者: 追一科技 AI Lab 研究员 Tony在预训练语言模型 BERT 对自然语言处理的冲击还未平息时，CMU 和 Google 的研究员又放出了一个猛料：在 20 多项任务上全线碾压 BERT 的 XLNet。本文将回顾 XLNet 背后语言表征学习的思想演进，并拆解 XLNet 模型设计的巧妙之处。1. 语言表征学习深度学习的基本单元是向量。我们将建模对象对应到...

2019-07-17 14:50:32 317

原创 NL2SQL：弱监督学习与有监督学习完成进阶之路

NL2SQL：弱监督学习与有监督学习完成进阶之路本文作者：追一科技算法工程师 WayneOutlineNL2SQL 任务和 WikiSQL 数据集介绍弱监督学习下 NL2SQL 解决方案有监督学习下 NL2SQL 解决方案追一科技 NL2SQL 天池挑战赛NL2SQL任务和WikiSQL数据集介绍近年来，NLP 的突破，带来了一些创新型研究机会，NL2SQ...

2019-07-17 14:33:53 880

原创《NLP新纪元？如何看待轰炸阅读理解顶级测试的BERT模型？》

《NLP新纪元？如何看待轰炸阅读理解顶级测试的BERT模型？》追一科技算法高级研究员 Nick最近谷歌研究人员通过新的BERT模型在11项NLP任务中夺得SOTA结果，这在自然语言处理学界以及工业界都引起了不小的热议。作者通过在33亿文本的语料上训练语言模型，再分别在不同的下游任务上微调，这样的模型在不同的任务均得到了目前为止最好的结果，并且有一些结果相比此前的最佳成绩得到了幅度不小...

2019-07-16 18:45:00 378

原创 TFSEQ PART III: Batch size大小，优化和泛化

TFSEQ PART III: Batch size大小，优化和泛化文章目录**TFSEQ** PART III: Batch size大小，优化和泛化前言TLDR：分布式训练的 Recipe1. 机器学习问题的简单拆解1.1 简单的概率论符号1.2 机器学习和泛化1.3 优化的限制1.4 误差的拆解[[Bottou et al, 2008]](https://papers.nips.cc/pa...

2019-07-16 18:26:49 775

原创 TFSEQ Part II: 序列模型的实现细节

TFSEQ Part II: 序列模型的实现细节本文作者：追一科技算法工程师 Tony1. 前言TFSEQ 这个系列总结了笔者在使用 tensorflow 进行自然语言处理的一些实践经验和思考。计划写三篇文章：分布式训练的方案和效率对比序列模型的实现细节Batch size大小，优化和泛化此为第二篇。序列模型组件如 RNN 和 Attention 在自然语言处理中有广泛的应用。...

2019-07-16 18:13:08 318

原创 bag of tricks for training GAN

训练GANs，你应该知道的二三事作者：追一科技AI Lab 研究员 Miracle写在前面的话笔者接触GANs也有一段时间了，从一开始的小白，到现在被GANs虐了千百遍但依然深爱着GANs的小白，被GANs的对抗思维所折服，被GANs能够生成万物的能力所惊叹。我觉得GANs在某种程度上有点类似于中国太极，‘太极生两仪，两仪生四象’，太极阐明了宇宙从无极而太极，以至万物化生的过程，太极也是讲究...

2019-05-30 13:04:16 524

原创 TFSEQ Part I: 分布式训练的方案和效率对比

TFSEQ Part I: 分布式训练的方案和效率对比本文作者：追一科技算法工程师欧泽彬1. 前言TFSEQ 这个系列总结了笔者在使用 tensorflow 进行自然语言处理的一些经验和思考。计划写三篇文章：分布式训练的方案和效率对比序列模型的实现细节Batch size大小，优化和泛化此为第一篇。在增大数据集的同时增大模型参数量(Scaling)是提高准确率的一个有效方案，...

2019-05-30 10:41:31 530

ZHUIYI_AI的博客