NLP
关注
分享
扫一扫
废柴当自强
家总要成，钱总要挣，奔走红尘，莫忘曾经是书生。
展开
-
一文教你实战CuPy:提速Numpy数百倍！
Numpy 的速度已经较 Python 有了很大的提升。当发现 Python 代码运行较慢，尤其出现大量的 for-loops 循环时，通常可以将数据处理移入 Numpy 并实现其向量化最高速度处理。但Numpy 加速只是在 CPU 上实现的。由于消费级 CPU 通常只有 8 个核心或更少，所以并行处理数量以及可以实现的加速是有限的。这就催生了新的加速工具——CuPy 库。何为 CuPy？C...原创 2020-01-29 13:19:41 · 2667 阅读 · 0 评论 -
60分钟带你了解ALBERT
ALBERT原文：《ALITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》中文预训练ALBERT模型来了：小模型登顶GLUE，Base版模型小10倍速度快1倍。Google一出手就是不一样，不再是BERT+的模式，而是做了个大改动。ALBERT模型是BERT的改进版，与最近其他State of the a...原创 2019-10-07 19:44:45 · 13648 阅读 · 0 评论 -
60分钟教你实现Chatbot（基于pytorch）
本教程会介绍使用seq2seq模型实现一个chatbot，训练数据来自Cornell电影对话语料库。对话系统是目前的研究热点，它在客服、可穿戴设备和智能家居等场景有广泛应用。传统的对话系统要么基于检索的方法——提前准备一个问答库，根据用户的输入寻找类似的问题和答案。这更像一个问答系统，它很难进行多轮的交互，而且答案是固定不变的。要么基于预先设置的对话流程，这主要用于slot-filling(T...原创 2019-10-06 18:14:47 · 7189 阅读 · 5 评论 -
60分钟教你上手PaddleHub
PaddleHub 介绍 PaddleHub 是基于 PaddlePaddle 开发的预训练模型管理工具，可以借助预训练模型更便捷地开展迁移学习工作，旨在让 PaddlePaddle 生态下的开发者更便捷体验到大规模预训练模型的价值。 PaddleHub 目前的预训练模型覆盖了图像分类、目标检测、词法分析、Transformer、情感分析五大类别。未来会持续开放更多类型的深度...原创 2019-10-05 23:42:27 · 23118 阅读 · 3 评论 -
60分钟教你上手PyTorch + 迁移学习
什么是PyTorch？Autograd: 自动求导PyTorch神经网络简介训练一个分类器通过例子学PyTorch使用Numpy实现三层神经网络使用Tensor来实现三层神经网络实现autograd来实现三层神经网络使用自定义的ReLU函数和Tensorflow的对比使用nn模块来实现三层神经网络使用optim包自...原创 2019-10-03 17:01:45 · 4475 阅读 · 2 评论 -
后BERT时代
目录一、迁移学习与模型预训练：何去何从 迁移学习分类 何去何从现状分析未来可期二、各类代表性工作有监督模型预训练：CoVe自监督学习同时训练：CVT无监督模型预训练ELMoULMFiT & SiATLGPT/GPT-2BERTERNIE: Enhanced Representation through Kn...原创 2019-06-23 18:26:25 · 3422 阅读 · 0 评论 -
一文读懂Transformer+源码复现
本文主要介绍Transformer的原理以及对Transformer的源码进行复现。关于Transformer的原理在上篇《一文读懂BERT(原理篇)》一文中有较详细的介绍，读者可以通过传送门过去进一步阅读，本片着重对代码部分进行研究。本文内容参考了The Annotated Transformer（读者可以从这里下载代码）以及《Convolutional Sequence to Sequence...原创 2019-04-28 18:01:05 · 14473 阅读 · 7 评论 -
一文教你成为TFboys (TensorFlow入门篇)
TensorFlow越来越成为深度学习领域最火的框架之一，本文会简要的介绍TensorFlow的基本概念，并通过一个简单的线性回归介绍这些概念的实际使用。让我们一起学习如果修炼成为一个TFboys吧～～～目录一、Tensorflow资源（1）Tensorflow教程资源：（2）Tensorflow视频资源（3）Tensorflow项目实战资源二、概述三、Tensor...原创 2019-05-03 15:07:11 · 1973 阅读 · 0 评论 -
一本读懂BERT(实践篇)
目录一、什么是BERT？二、BERT安装三、预训练模型四、运行Fine-Tuning五、数据读取源码阅读（一） DataProcessor（二） MrpcProcessor六、分词源码阅读（一）FullTokenizer（二） WordpieceTokenizer七、run_classifier.py的main函数八、BertModel类九、自己...原创 2019-04-18 22:41:07 · 40703 阅读 · 35 评论 -
一文读懂BERT(原理篇)
一文读懂BERT（从原理到实践）2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。本文是对近期关于BERT论文、相关文章、代码进...原创 2019-04-19 08:37:17 · 297078 阅读 · 83 评论