pytorch学习笔记-----自然语言处理

最新推荐文章于 2024-06-02 22:19:32 发布
最新推荐文章于 2024-06-02 22:19:32 发布
阅读量76 收藏
点赞数
分类专栏： pytorch学习笔记 文章标签： 神经网络 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52822699/article/details/118709261
版权

1.可以输入中间词来预测上下文CBOM

2.可以根据上下文预测中间值Skip gram

存在问题：

语料库太大时可能造成万级甚至更大分类

例如 输入 he is 

输出可能为 person,dog,cat,bird ......等结果

为了解决这一问题rnn直接将把输入和期望的

输出结果都作为网络的输入，用网络来预测

负采样模型：

上述方法会存在这样的问题，机器会想一直往1猜

所以我们需要负采样，对一些词标0

例如：

he is play  需要把play标0

负采样模型推荐5个比较合适

cvks
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【黑马程序员自然语言处理实战课程】学习笔记---pytorch基础知识和autograd
weixin_43444329的博客
12-07 4269
1.1什么是pytorch pytorch是一个基于Numpy的科学计算包，向他的使用者提供两大功能 作为numpy的替代者，向用户提供GPU强大功能的能力； 作为一款深度学习的平台，向用户提供最大的灵活性和速度 pytorch基本元素操作： tensor张量：类似于numpy中的ndarray数据结构，最大区别在于tensor可以利用GPU的加速功能。 需要先将torch引用进来 from __future__ import print_function import torch 1..
Pytorch、NLP学习笔记
03-01
Pytorch、NLP学习笔记
pytorch学习笔记-----自然语言处理词向量
qq_52822699的博客
07-13 136
问题：文本数据不能直接输入神经网络,用词频统计没有位置顺序信息 词向量模型-Word2Vec 1.词向量可以记录位置信息 2.词向量可以将同义此归为同一个向量例如:红，red 3.同类应该在相近的位置例如:篮球，排球 维数一般为特征： 比如说：一根笔的长度，宽度，颜色等这些都为一个维度 我们可以通过算距离来计算相似度 个人理解：整个流程就是把词生成词向量，词向量表是随机初始化的，训练的过程就是要更新他的词向量，使之能更好的预测下一个词 ...
pytorch学习笔记- 基础篇
qq_43187760的博客
03-10 105
写在前面 写本文档的目的是记录自己在pytorch神经网络的搭建中，遇到的不解之处，多为概念性名词。读者可选择性阅读。 1 交叉熵损失函数。 1.1 交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。 1.2 交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。 1.3 交叉熵损失函数可以计算出模型预测值与实际标签值的差异
PyTorch学习笔记-8.PyTorch深度体验
ruoqi23的博客
08-03 808
8.PyTorch深度体验 8.1.图像分类预测 模型如何完成图像分类？ 将图像转换为tensor -->模型-->输出向量-->取向量的最大值作为预测结果 代码基本步骤： 1.获取数据与模型 2.数据变换，如RGB → 4D-Tensor 3.前向传播 4.输出保存预测结果 注意事项： 1.确保model处于eval状态而非training 2.设置torch.no_grad()，减少内存消耗 3.数据预处理需保持一致，RGB orBGR...
pytorch学习笔记-----RNN CNN自然语言处理
qq_52822699的博客
07-14 458
RNN class Model(nn.Module): def __init__(self,config): super(Model,self).__init__() self.embedding=nn.Embedding.from_pretrained(config.embedding_pretrained,freeze=False) self.lstm=nn.LSTM(config.embed,config.hidden_size,co...
Pytorch学习笔记-RNN
qq_45363979的博客
08-17 611
文章目录1. 时间序列表示方法1.1 Sequence representation1.2 Batch1.3 word2vec vs GloVe2. RNN原理3. RNN Layer使用4. 时间序列预测实战5. 梯度离散和梯度爆炸 1. 时间序列表示方法 图像，视频一类的数据均有位置相关性，卷积神经网络利用感受一个小的区域的方式实现全局共享，可以将网络设置的很深，又保留了逐层抽取的特性。 而语音、文字都是有时间先后顺序的，对于2D的图片数据，用一个像素点的RGB值来表示这个像素的色彩度，那么对于语音、文
NLP-pytorch学习笔记
u012409283的博客
09-15 187
padding设置 存在2种设置方式： 采用attention_mask对padding处的token进行mask 在nn.Embedding中设置padding_ids为pad_token_id, 此时，对应padding_ids的embedding vector 在训练时不会进行更新。 cross_entropy ignore_index表示计算交叉熵时，自动忽略的标签值，默认为 -100 ...
深度学习笔记（5）——pytorch实现Att-BiLSTM
m0_46275020的博客
08-25 1668
模型图：LSTM层：Attention层M=tanh(H)α=softmax(ωT∗M)r=HαTh∗=tanh(r)M=tanh(H)α=softmax(ωT∗M)r=HαTh∗=tanh(r)其中H为LSTM输出的结果，对应于nn.lstm()输出的第一个结果。
pytorch学习笔记-----递归神经网络RNN 与LSTM
qq_52822699的博客
07-13 140
用途： CNN一般用于图像处理中 RNN一般用于自然语言处理 特征的时序相关性： 每一次训练都考虑到之前的结果（有了时序性的连接） 前一时刻的隐层输出反过来作为下一次隐层输入的一部分 存在问题：个人理解RNN网络会考虑到所有的之前的结果，如果时序很长，那必然会导致前后关联没那么大，这样效果不好 LSTM： 为解决这一问题，有选择性进行时序信息遗忘 加入C参数控制单元，可以改变模型的复杂度，选择要保留的信息 ...
深度学习-循环神经网络RNN-RNN代码实现-学习RNN的学习笔记
06-14
本资源主要是使用pytorch构建RNN项目代码的测试结果展示和个人对每一步代码的见解注释，以及代码运行过程中生成的数据格式展示，还包含代码用到的部分函数介绍。 RNN相关文章分为循环神经网络原理介绍，链接地址：...
nlp-paper:自然语言处理领域下的对话语音领域，整理相关论文（附阅读笔记），复现模型以及数据处理等（代码含TensorFlow和PyTorch两版本）
04-30
NLP-Paper | Still work本人在学习的过程中阅读过的论文就更新上来，对于自己精读的论文，会写一些阅读笔记上传，有兴趣的也可以一同分享完善。(内容同步更新到、)注：对部分复现论文代码以及NLP其他工具代码放在这 ...
NLP Town的NLP项目源码集合(notebooks)-python
06-21
A collection of notebooks for Natural Language Processing from NLP Townnlp-notebooks 来自 NLP Town NLP 101 的自然语言处理笔记本集 NLP 101 词嵌入简介 NLP 与来自 spaCy 和 StanfordNLP 的预训练模型 使用 ...
使用numpy手写一个神经网络
莫比的博客
05-27 1597
使用python写一个简单的神经网络
神经网络与深度学习——第7章 网络优化与正则化
a_blade_of_grass的博客
06-02 738
代入可知，可以看作是真正的学习率，如果不成正比，那么会出现过大或者过小的情况，使参数更新不稳定或者过慢。可以看出，如果β1\beta_1β1​和β2\beta_2β2​都接近1，Mt\hat M_tMt​接近MtM_tMt​Gt\hat G_tGt​接近GtG_tGt​，当M00G00M0​0G0​0，初期的均值和未减去均值的方差都很大，因为ttt。
自然语言处理（NLP）—— 神经网络语言处理
最新发布
weixin_65190179的博客
06-02 614
所谓“标记”，
Linux防火墙之iptables（二）
lxplxplike的博客
05-26 956
在Internet中发布位于局域网内的服务器。
I2C SPI UART TCP/UDP AD/DA PWM大总结
芯心智库
05-26 796
那么当处理器输出的是全0则外部测量的电压是0V，输出全1则外部测量电压是5V，如果0/1各一半则是输出2.5V，如此只要控制0/1的比例就可以控制电压的输出了。V1是待测的电压，V0是比较器的输出电压，两者会进入比较器，直到结果V0大于V1（注意是大于，不是等于，这里会引入精度的概念）,此时的计数值是D0~D7,可以表示此时的电压数值的水平。UART就比较特殊点了，它是异步通信（无CLK进行同步，有CLK的就是USART），全双工，有两根数据线，一根是RX一根是TX。
pytorch-doc-zh-2023
09-04
pytorch-doc-zh-2023是指PyTorch的中文文档，它是对PyTorch深度学习框架的官方文档进行翻译和整理的成果。PyTorch是一个用于构建深度学习模型的开源框架，它提供了丰富的工具和库，让开发者可以方便地设计、训练和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值