![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习—nlp
文章平均质量分 73
从实战项目入手,逐渐补充理论知识
lovealgorithm.
愿每个人以后所从事的事业都是兴趣使然,而非生活所迫。
展开
-
循环神经网络(RNN)
在pytorch中实现RNN 前言: 循环神经网络: 输出并不只是完全依赖输入,还会受到上个状态的影响 ht=tanh(Whhht−1+Wxhxt)h_t=tanh(W_{hh}h_{t-1}+W_{xh}x_t)ht=tanh(Whhht−1+Wxhxt) yt=Whyhty_t=W_{hy}h_tyt=Whyht 实现: 1.定义循环神经网络层 import torch from torch import nn from torch.nn import functional as F.原创 2022-05-27 16:22:12 · 372 阅读 · 0 评论 -
基于预训练模型 ERNIE-Gram 实现语义匹配-模型预测
尝试直接使用训练好的参数,进行预测 使用 Lcqmc 数据集的测试集作为我们的预测数据 添加链接描述 加载预测数据 test_ds = load_dataset("lcqmc", splits=["test"]) 生成预测数据 predict_data_loader =paddle.io.DataLoader( dataset=test_ds.map(trans_func), batch_sampler=batch_sampler, collate_f原创 2022-05-25 16:18:27 · 343 阅读 · 0 评论 -
基于预训练模型 ERNIE-Gram 实现语义匹配-模型搭建
本章继续分析该案例的模型搭建部分 自从 2018 年 10 月以来,NLP 个领域的任务都通过 Pretrain + Finetune 的模式相比传统 DNN 方法在效果上取得了显著的提升,本节我们以百度开源的预训练模型 ERNIE-Gram 为基础模型,在此之上构建 Point-wise 语义匹配网络。 前言: 首先,先了解一下Pretrain+Finetune是什么 预训练(Pretrain):当我们想要搭建一个网络模型来完成一个任务时,需要初始化参数,然后开始训练网络,不断减小损失,最后得到优秀的参原创 2022-05-17 15:06:08 · 559 阅读 · 0 评论 -
基于预训练模型 ERNIE-Gram 实现语义匹配-训练全过程
本章介绍训练过程中的损失函数、梯度下降、模型评估 (1)损失函数 # 采用交叉熵 损失函数 criterion = paddle.nn.loss.CrossEntropyLoss() loss = criterion(probs, labels) 交叉熵 交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度,在机器学习中就表示为真实概率分布与预测概率分布之间的差异。 交叉熵的值越小,模型预测效果就越好。 交叉熵经常搭配softmax使用,将输出的结果进行处理,使其多个分类的预测值和为1,再通过交原创 2022-05-22 14:20:30 · 449 阅读 · 0 评论 -
基于预训练模型 ERNIE-Gram 实现语义匹配-前向传播
今天分析一下前向传播的整个过程。 在训练之前,先解决昨天的一个疑问,我们输入的句子经过预处理后,变成了32∗3232 * 3232∗32的id矩阵,而导入的模型里面的隐藏单元是768,也就是说输入的维度应该是768,那么这32∗3232 * 3232∗32的矩阵是如何变成768维的呢? 矩阵里存放的每个id值都对应着一个字,而这些字应该都有对应的embedding,而word embedding的shape是18018∗76818018 * 76818018∗768,词汇表里正好有18018行,可以确定一原创 2022-05-18 14:18:37 · 264 阅读 · 1 评论 -
NLP重要概念
记录NLP的一些重要概念,不断更新。 self-attention 有一种新的layer,叫self-attention,它的输入和输出和RNN是一模一样的,输入一个sequence,输出一个sequence,它的每一个输出b1-b4都看过了整个的输入sequence,每一个输出b1-b4可以并行化计算。 Transformer Transformer主体框架是一个encoder-decoder结构,摒弃了RNN的序列结构,完全采用attention和全连接。 encoder:原创 2022-05-18 16:18:02 · 227 阅读 · 0 评论 -
基于预训练模型 ERNIE-Gram 实现语义匹配-数据预处理
本案例介绍 NLP 最基本的任务类型之一 :文本语义匹配,并且基于 PaddleNLP 使用百度开源的预训练模型 ERNIE-Gram 搭建效果优异的语义匹配模型,来判断 2 段文本语义是否相同。 本章详细分析了数据预处理的整个流程,用以学习阶段的记录。 前言: 文本语义匹配任务,简单来说就是给定两段文本,让模型来判断两段文本是不是语义相似。 在本案例中以权威的语义匹配数据集 LCQMC 为例,LCQMC 数据集是基于百度知道相似问题推荐构造的通问句语义匹配数据集。训练集中的每两段文本都会被标记为 1(原创 2022-05-16 16:18:31 · 1248 阅读 · 1 评论