动手深度学习笔记（四十七）8.3. 语言模型和数据集

已于 2023-02-11 23:15:55 修改
阅读量352 收藏
点赞数
分类专栏： pytorch实践 pytorch 文章标签： 深度学习 语言模型
于 2023-02-09 23:11:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juluwangriyue/article/details/128962055
版权
pytorch实践 同时被 2 个专栏收录
136 篇文章 116 订阅 ¥29.90 ¥99.00
订阅专栏
pytorch
94 篇文章 12 订阅
订阅专栏
本文探讨了语言模型在自然语言处理中的重要性，介绍了如何学习和建模语言，包括一阶马尔可夫模型、n元语法以及自然语言统计分析。通过实例解释了如何处理长序列数据，如随机采样和顺序分区策略，同时讨论了拉普拉斯平滑在处理低频词组中的应用。此外，还提出了齐普夫定律在单词和n元语法分布中的影响。
摘要由CSDN通过智能技术生成

动手深度学习笔记（四十七）8.3. 语言模型和数据集

8.3. 语言模型和数据集

在 8.2节中， 我们了解了如何将文本数据映射为词元， 以及将这些词元可以视为一系列离散的观测，例如单词或字符。 假设长度为 T T T的文本序列中的词元依次为 x

了解本专栏 订阅专栏 解锁全文
落花逐流水
关注
专栏目录
订阅专栏
动手深度学习笔记（四十四）8. 循环神经网络
juluwangriyue的博客
02-07 427
最重要的是，到目前为止我们默认数据都来自于某种分布， 并且所有样本都是独立同分布的 （independently and identically distributed，i.i.d.）。然而，大多数的数据并非如此。例如，文章中的单词是按顺序写的，如果顺序被随机地重排，就很难理解文章原始的意思。同样，视频中的图像帧、对话中的音频信号以及网站上的浏览行为都是有顺序的。换句话说，如果我们拥有一张图像，我们需要有效地利用其像素位置， 假若我们对图像中的像素位置进行重排，就会对图像中内容的推断造成极大的困难。
大语言模型原理与工程实践：数据瓶颈问题分析和解决方法原理与应用
AI天才研究院
06-25 428
在过去的几年里，随着深度学习技术的飞速发展，大规模语言模型（Large Language Models, LLMs）在自然语言处理（Natural Language Processing, NLP）领域取得了显著的进展。这些模型通过在大规模无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，并在各种NLP任务中表现出色。然而，随着模型规模的不断扩大和应用场景的不断拓展，数据瓶颈问题日益凸显，成为制约大语言模型进一步发展的关键因素。
动手学深度学习8.3. 语言模型和数据集-笔记&练习（PyTorch）
scdifsn的博客
09-09 1283
李沐老师《动手学深度学习（PyTorch版）》8.3. 语言模型和数据集-笔记&练习详解
【动手学深度学习】8.3 语言模型（个人向笔记）
最新发布
hxdxiaoming的博客
10-19 376
尽管如此，语言模型依然是非常有用的。 例如，短语“to recognize speech”和“to wreck a nice beach”读音上听起来非常相似。 这种相似性会导致语音识别中的歧义，但是这很容易通过语言模型来解决， 因为第二句的语义很奇怪。 同样，在文档摘要生成算法中， “狗咬人”比“人咬狗”出现的频率要高得多， 或者“我想吃奶奶”是一个相当匪夷所思的语句， 而“我想吃，奶奶”则要正常得多。 8.3.1. 学习语言模型
动手学深度学习9.5. 机器翻译与数据集-笔记&练习（PyTorch）
scdifsn的博客
10-14 981
李沐老师《动手学深度学习（PyTorch版）》9.5. 机器翻译与数据集-笔记&练习详解
《动手学深度学习》学习笔记 第8章 循环神经网络
weixin_42046845的博客
01-12 1223
笔记是从第四章开始，前面三章为基础知识，有需要的可以自己去看看 关于本系列笔记： 书里为了让读者更好的理解，有大篇幅的描述性的文字，内容很多，笔记只保留主要内容，同时也是对之前知识的查漏补缺
《动手学深度学习》学习笔记 第9章 现代循环神经网络
weixin_42046845的博客
01-12 1006
笔记是从第四章开始，前面三章为基础知识，有需要的可以自己去看看 关于本系列笔记： 书里为了让读者更好的理解，有大篇幅的描述性的文字，内容很多，笔记只保留主要内容，同时也是对之前知识的查漏补缺
深度学习笔记其七：计算机视觉和PYTORCH
泠山的博客
09-04 1281
Reference：在深度卷积神经网络章节中，我们提到过大型数据集是成功应用深度神经网络的先决条件。在对训练图像进行一系列的随机变化之后，生成相似但不同的训练样本，从而扩大了训练集的规模。此外，应用图像增广的原因是，随机改变训练样本可以减少模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以以不同的方式裁剪图像，使感兴趣的对象出现在不同的位置，减少模型对于对象出现位置的依赖。我们还可以调整亮度、颜色等因素来降低模型对颜色的敏感度。可以说，图像增广技术对于 AlexNet 的成功是必不可少的。在本节中
[学习笔记]动手学深度学习v2
zhangyifeng_1995的博客
03-16 916
[学习笔记]动手学深度学习v2
读书笔记：深度学习进阶-自然语言处理（俗称鱼书二）
博客而已
01-13 1806
还记得半年前开始看并给鱼书一做笔记的热情，现在想进一步了，作者和翻译作者都非常高效给力了，那么快就出了第二本鱼书-《深度学习进阶-自然语言处理》，本书一共八章，希望每周可以看完并完成一个章节的笔记，深度学习冲冲冲~在啃第一本鱼书的时候，是采用了先看在总结的方式，这次看第二本决定边看边总结，看完一遍可能还得回去再看第二遍，希望这次边学边思的效率高些，加油加油！自然语言处理是让计算机处理自然语言的技术。
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
AI天才研究院
06-25 358
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
大语言模型原理基础与前沿 上下文学习
AI天才研究院
07-10 623
大语言模型原理基础与前沿：上下文学习 1. 背景介绍 1.1 问题的由来 在自然语言处理领域，随着深度学习技术的快速发展，特别是大规模语言模型的兴起，我们见证了模型能力的显著提升。大语言模型能够生成流畅、连贯且具有上下文相关性的文本，这对于
Windows系统下在Anaconda中使用bash
juluwangriyue的博客
09-28 8446
anaonda环境中如何使用bash命令，提示： 'sh' 不是内部或外部命令，也不是可运行的程序或批处理文件。 解决办法： 在anaconda中执行以下命令即可（要先activation 想用的环境）： conda install m2-base 他自动安装的依赖包还挺多的，安装完毕后，再运行bash命令没问题了。 ...
onnxruntime推理CPU GPU切换
juluwangriyue的博客
12-22 5609
onnxruntime推理CPU GPU切换1、切换CPU与GPU 1、切换CPU与GPU 在anaconda环境下安装了onnxruntime和onnxruntime-gpu，在使用时总是默认调用gpu版本的库。 有时需要对比CPU和GPU的性能，有时因为显存不够只能使用CPU版本的库，但是系统默认调用GPU的库，网上看到一些说法，为了测试CPU只能把GPU的库卸载了，这种说法我不赞成。 其实只要细心，跳转到onnxruntime的InferenceSession定义据可以知道，办法是有的，就是多设置一个
pytorch训练与测试爆显存问题的解决
juluwangriyue的博客
11-27 4918
解决Pytorch 训练与测试时爆显存(out of memory)的问题 Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of memory" in str(excep
安装pytorch后导出报错 caffe2_detectron_ops_gpu.dll“ or one of its dependencies
juluwangriyue的博客
02-10 4766
安装pytorch后导出报错 caffe2_detectron_ops_gpu.dll" or one of its dependencies >>> import torch Traceback (most recent call last): File "<stdin>", line 1, in <module> File "D:\anaconda3\envs\pytorch\lib\site-packages\torch\__init__.py", l
训练过程loss震荡原因与解决办法
juluwangriyue的博客
10-16 4517
这训练过程loss震荡原因与解决办法1、训练的batch_size太小2、数据输入不对3、loss震荡分析 1、训练的batch_size太小 当数据量足够大的时候可以适当的减小batch_size,由于数据量太大，内存不够。但盲目减少会导致无法收敛，batch_size=1时为在线学习。 batch的选择，首先决定的是下降方向，如果数据集比较小，则完全可以采用全数据集的形式。这样做的好处有两点， 1）全数据集的方向能够更好的代表样本总体，确定其极值所在。 2）由于不同权重的梯度值差别巨大
动手深度学习笔记（三十五）6.5. 汇聚层
juluwangriyue的博客
03-11 4053
动手深度学习笔记（三十五）6.5. 汇聚层6. 卷积神经网络6.5. 汇聚层6.5.1. 最大汇聚层和平均汇聚层 6. 卷积神经网络 6.5. 汇聚层 通常当我们处理图像时，我们希望逐渐降低隐藏表示的空间分辨率、聚集信息，这样随着我们在神经网络中层叠的上升，每个神经元对其敏感的感受野（输入）就越大。 而我们的机器学习任务通常会跟全局图像的问题有关（例如，“图像是否包含一只猫呢？”），所以我们最后一层的神经元应该对整个输入的全局敏感。通过逐渐聚合信息，生成越来越粗糙的映射，最终实现学习全局表示的目标，同时将卷
libtorch c++调用 （八）模型加载失败原因总结
juluwangriyue的博客
07-29 3633
1、最常见原因是：pytorch版本与libtorch版本不一致。虽然偶尔有使用低版本保存的模型高版本libtorch可以调用的情况，但是一般高版本的pytorch保存的模型，低版本的libtorch加载就会报错。所以一般libtorch版本不能比pytorch版本低，但是最好二者版本一致。 2、找不到运行库或运行库不全。这个一般在调试时将debug目录设置为生成可执行程序的目录并且将libtorch库拷贝到该目录下就可以调试。 3、pytorch保存的gpu模型cpu加载，加载时没有设置设备类型导致的加载
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

落花逐流水

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值