weixin_45673221的博客

在pytorch中实现RNN前言：循环神经网络：输出并不只是完全依赖输入，还会受到上个状态的影响ht=tanh(Whhht−1+Wxhxt)h_t=tanh(W_{hh}h_{t-1}+W_{xh}x_t)ht​=tanh(Whh​ht−1​+Wxh​xt​)yt=Whyhty_t=W_{hy}h_tyt​=Why​ht​实现：1.定义循环神经网络层import torchfrom torch import nnfrom torch.nn import functional as F.

尝试直接使用训练好的参数，进行预测使用 Lcqmc 数据集的测试集作为我们的预测数据添加链接描述加载预测数据test_ds = load_dataset("lcqmc", splits=["test"])生成预测数据predict_data_loader =paddle.io.DataLoader( dataset=test_ds.map(trans_func), batch_sampler=batch_sampler, collate_f

本章继续分析该案例的模型搭建部分自从 2018 年 10 月以来，NLP 个领域的任务都通过 Pretrain + Finetune 的模式相比传统 DNN 方法在效果上取得了显著的提升，本节我们以百度开源的预训练模型 ERNIE-Gram 为基础模型，在此之上构建 Point-wise 语义匹配网络。前言：首先，先了解一下Pretrain+Finetune是什么预训练（Pretrain）：当我们想要搭建一个网络模型来完成一个任务时，需要初始化参数，然后开始训练网络，不断减小损失，最后得到优秀的参

本章介绍训练过程中的损失函数、梯度下降、模型评估（1）损失函数# 采用交叉熵 损失函数criterion = paddle.nn.loss.CrossEntropyLoss()loss = criterion(probs, labels)交叉熵交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。交叉熵经常搭配softmax使用，将输出的结果进行处理，使其多个分类的预测值和为1，再通过交

今天分析一下前向传播的整个过程。在训练之前，先解决昨天的一个疑问，我们输入的句子经过预处理后，变成了32∗3232 * 3232∗32的id矩阵，而导入的模型里面的隐藏单元是768，也就是说输入的维度应该是768，那么这32∗3232 * 3232∗32的矩阵是如何变成768维的呢？矩阵里存放的每个id值都对应着一个字，而这些字应该都有对应的embedding，而word embedding的shape是18018∗76818018 * 76818018∗768，词汇表里正好有18018行，可以确定一

记录NLP的一些重要概念，不断更新。self-attention​ 有一种新的layer，叫self-attention，它的输入和输出和RNN是一模一样的，输入一个sequence，输出一个sequence，它的每一个输出b1-b4都看过了整个的输入sequence，每一个输出b1-b4可以并行化计算。TransformerTransformer主体框架是一个encoder-decoder结构，摒弃了RNN的序列结构，完全采用attention和全连接。encoder：

本案例介绍 NLP 最基本的任务类型之一 ：文本语义匹配，并且基于 PaddleNLP 使用百度开源的预训练模型 ERNIE-Gram 搭建效果优异的语义匹配模型，来判断 2 段文本语义是否相同。本章详细分析了数据预处理的整个流程，用以学习阶段的记录。前言：文本语义匹配任务，简单来说就是给定两段文本，让模型来判断两段文本是不是语义相似。在本案例中以权威的语义匹配数据集 LCQMC 为例，LCQMC 数据集是基于百度知道相似问题推荐构造的通问句语义匹配数据集。训练集中的每两段文本都会被标记为 1（