跟李沐学AI：序列模型

最新推荐文章于 2024-11-09 21:51:15 发布
最新推荐文章于 2024-11-09 21:51:15 发布
阅读量234 收藏 4
点赞数 7
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Landy_Jay/article/details/141530435
版权

目录

序列数据

自回归模型

马尔可夫假设

 潜变量模型

 序列模型总结

序列数据

实际中很多数据是时序结构的，如：电影的评价随时间的变化而变化：拿奖后评分上升、电影整体质量提升，人们要求变高。。。等等

除此之外，音乐、语言、文本和视频都是连续的序列数据。

自回归模型

自回归模型的基本思想是，给定一个序列(x_1,x_2,\dots,x_t)，我们可以根据之前的时间点上的值来预测下一个时间点的值x_{t+1}​。具体来说，自回归模型尝试拟合如下形式的概率分布：P(x_t \mid x_{t-1}, \ldots, x_1)

这个概率分布可以用来生成新的序列数据。生成过程是从序列的开始部分逐步向前推进，每一步都基于之前已知的数据来预测下一个元素。

自回归模型有两种基本策略：

马尔可夫假设

马尔可夫模型假设当前数据只与前tau个数据相关。即p(x_t\mid x_1,\dots,x_{t-1})=p(x_t\mid x_{t-\tau,\dots,x_{t-1}})，如果\tau=1即可得到一阶马尔可夫模型：

 潜变量模型

 潜变量模型引入一个潜变量h_t来表示过去信息h_t=f(x1,\dots,x_{t-1})，这种情况下： x_t=p(x_t\mid h_t)。潜变量模型涉及两个模型，一个模型基于x_t和h_t计算h_{t+1}，一个模型基于x_t和 计算得出的h_{t+1}计算x_{t+1}。

 序列模型总结

  时序模型中，当前数据与之前观测到的数据相关。

  自回归模型使用自身过去数据预测未来数据。

  马尔可夫模型假设当前数据之和最近少数数据相关从而简化模型。

  潜变量模型使用潜变量来概括历史信息。

Landy_Jay
关注
动手深度学习笔记（四十五）8.1. 序列模型
juluwangriyue的博客
02-07 261
这样的假设是合理的，因为新的动力学一定受新的数据影响， 而我们不可能用目前所掌握的数据来预测新的动力学。也就是说，输入数据的数量这个数字将会随着我们遇到的数据量的增加而增加， 因此需要一个近似方法来使这个计算变得容易处理。注意，如果我们处理的是离散的对象（如单词）， 而不是连续的数字，则上述的考虑仍然有效。仅是离散值时，这样的模型特别棒， 因为在这种情况下，使用动态规划可以沿着马尔可夫链精确地计算结果。当然，序列数据不仅仅是关于电影评分的。当下获得的最直接的好处就是参数的数量总是不变的， 至少在。
51 序列模型 动手学深度学习 PyTorch版 李沐视频课笔记
tangailong8709的博客
02-12 1139
50 序列模型 动手学深度学习 PyTorch版 李沐视频课笔记
跟着李沐学Pytorch--序列模型（一）
Fighting_22的博客
03-06 831
一、序列数据 二、统计工具 在时间t观察到xt，那么得到T个不独立的随机变量（x1 ~ xT）~ P(x) （前后不受到影响，互相独立） 使用条件概率展开 p(a,b)=p(a)p(b|a)=p(b)p(a|b) 三、序列模型 正向：先得到X1，再推x2，x2是依赖于x1，同理，x3依赖于之前的x1,x2. 反向：（已知未来推过去）先得到xT,再反过来推。在物理层面上是不可行的，因为很多的理论是基于之前的理论。 四、自回归模型 自回归模型：给过去的数据，预测下一个数据 对条件概率建模 预测xt，对之
51 序列模型_by《李沐：动手学深度学习v2》pytorch版
buyaotutou的博客
09-21 1271
时序模型中，当前数据跟之前观察到的数据相关自回归模型使用自身过去数据来预测未来马尔科夫模型假设当前只跟最近少数数据相关，从而简化模型潜变量模型使用潜变量来概括历史信息。
李沐动手学深度学习V2-NLP序列模型和代码实现
flyingluohaipeng的博客
06-20 1064
处理序列数据需要统计工具和新的深度神经网络架构，如下图股票价格示例所示，其中用xtx_txt​表示价格，即在时间步（time step）t∈Z+t \in \mathbb{Z}^+t∈Z+时，观察到的价格xtx_txt​。注意ttt对于本文中的序列通常是离散的，并在整数或其子集上变化。假设一个交易员想在ttt日的股市中表现良好，于是通过以下途径预测xtx_txt​： xt∼P(xt∣xt−1,…,x1).x_t \sim P(x_t \mid x_{t-1}, \ldots, x_1).xt​∼P(xt​∣
跟李沐学AI：序列到序列seq2seq
Landy_Jay的博客
09-13 250
Seq2Seq从一个句子生成另外一个句子。Seq2Seq的编码器和解码器都是RNN。将编码器最后时间的hidden state作为解码器的初始hidden stae来完成信息传递。seq2seq常用BLEU来衡量生成序列的好坏。
跟李沐学AI：语言模型
Landy_Jay的博客
09-04 465
假设在给定长度为T的文本序列中的词元依次为可被人做文本序列在时间步t处的观测或标签。在给定这样的文本序列是，语言模型的目标是估计序列的联合概率。一个理想的与语言模型能够在一次抽取一个词元的情况下基于模型本身生成自然文本。
跟李沐学AI：Transformer
Landy_Jay的博客
10-12 611
对每个样本的所有feature做归一化。意思是对每个样本独立地计算均值和方差。假设输入为(3, 2)的矩阵，样本归一化对每行计算均值和方差：对第一个样本：均值为(1+2)/2=1.5，方差为。对每行计算并归一化后得到输出Transform的输入一般为一个序列，但是每个序列的有效长度(valid length)有所不同，会导致batch norm不稳定，故不适合batch norm。对每个样本的元素做归一化，在长度变化时更加稳定。
跟李沐学AI：实用机器学习 | 第三章
weixin_44090706的博客
11-18 796
跟李沐学AI：实用机器学习 | 第三章 学习笔记
跟李沐学AI：BERT
Landy_Jay的博客
11-05 1239
使用预训练好的模型来抽取词、句子的特征：Word2Vec或者预训练好的语言模型。使用预训练好的语言模型，一般不会再对语言模型进行微调，即不进行更新。Word2Vec一般用于替代embedding层但是Word2Vec往往忽略了时序信息，语言模型也往往只看了一个方向，不善于处理长序列。即使下游任务有所不同，使用BERT未调试只需增加输出层即可。不同任务，输入的表示和BERT的特征也会不同。e_Ae_B。
跟李沐学AI之注意力机制+transformer
weixin_56368033的博客
10-18 2872
跟李沐学AI之注意力机制+transformer
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows
iwill323的博客
12-22 3483
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block
卷积神经网络CNN各种模型（李沐老师的课程笔记——动手学）
qq_41732756的博客
08-11 820
不同神经网络模型 LeNet AlexNet 2012 2012年 sigmoid变成了ReLU（减缓梯度消失） 隐藏全连接层后加入了丢弃层 数据增强 新加入丢弃法，最大池化层 VGG 2013 更大更深的AleNetx（重复的VGG块） 将卷积层组合成块 NIN 全连接层太贵，参数太多容易过拟合 但卷积层后的的一个全连接层的参数非常大 1x1卷积层来替代全连接层 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zRclJs
李沐精读论文：transformer 《Attention Is All You Need》 by Google
iwill323的博客
12-17 2530
李沐读论文：transformer 《Attention Is All You Need》 by Google
机器学习系列----岭回归（Ridge Regression）简介及实现
DK22151的博客
11-09 1003
岭回归（Ridge Regression），也被称为Tikhonov正则化，是一种线性回归的变体。它通过在普通最小二乘法（OLS）回归中加入L2正则化项来解决多重共线性问题，从而提高模型的泛化能力和鲁棒性。岭回归的核心思想是通过惩罚模型的参数，使得它们保持较小的值，从而减少过拟合的风险。岭回归适用于当特征之间高度相关时（即多重共线性问题），普通的线性回归模型可能会变得不稳定，并且模型的系数可能会变得非常大。岭回归通过加上一个正则化项，约束了模型参数的大小，从而使得模型更加稳健。
PCA（主成分分析）算法的应用场景
最新发布
huanfeng_AI的博客
11-09 534
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 3385
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 629
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 408
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
深度学习全面指南：Pytorch、李沐、吴恩达教程详解
深度学习作为机器学习的一个重要分支，近年来已经成为人工智能领域的热点。它通过构建类似于人脑神经网络的计算模型，以实现对数据的有效处理和模式识别。本篇文档综述了三种极具代表性的深度学习学习资源，分别涉及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值