![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
ZJWANGER
永远相信美好的事情即将发生
展开
-
Torchtext使用教程
1. 下载数据: kaggle:Movie Review Sentiment Analysis (Kernels Only) train.tsv contains the phrases and their associated sentiment labels. We have additionally provided a SentenceId so that you can track wh...原创 2019-06-19 12:35:04 · 20192 阅读 · 8 评论 -
BERT:Pre-training of Deep Bidirectional Transformers for Language
BERT: Bidirectional Encoder Representations from Transformers 1. 创新点 BERT旨在通过联合调节所有层中的左右上下文来预先训练来自未标记文本的深度双向表示。 2. Bert 总共分两步: pre-training:在预训练期间,模型在不同的预训练任务上训练未标记的数据。 fine-tuning:对于微调,首先使用预先训练的参数初始...原创 2019-07-23 21:33:58 · 303 阅读 · 0 评论 -
循环神经网络pytorch实现
RNN 前向过程: ht=g(Uht−1+Wxt+bh)h_t = g(Uh_{t-1} + Wx_t +b_h)ht=g(Uht−1+Wxt+bh) yt=g(Wyht+by)y_t = g(W_yh_t + b_y)yt=g(Wyht+by) pytorch 实现 import torch import torch.nn as nn import torch.nn.f...原创 2019-07-17 10:34:43 · 358 阅读 · 0 评论 -
XLNet: Generalized Autoregressive Pretraining for Language Understanding
1. 创新点 XLNet主要解决了Bert存在的一些问题,所以在介绍XLNet前,先简单介绍一下Bert,及其问题。 1.1 BERT 凭借对双向上下文进行建模的能力,Bert在自然语言处理任务上表现优异。 Bert有两个训练任务。 训练任务1 一句话中取15%的词用[MASK][MASK][MASK]替换, 然后预测[MASK][MASK][MASK]替换的词原来是什么词。 预测[MASK][M...原创 2019-09-22 20:57:42 · 280 阅读 · 0 评论