机器学习笔记
文章平均质量分 88
记录自己学习机器学习的笔记。
一个用户aaa
这个作者很懒,什么都没留下…
展开
-
Bahdanau注意力机制
这里实现一个接口,只需重新定义解码器即可。为了更方便地显示学习的注意力权重, 以下类定义了带有注意力机制解码器的基本接口。接下来,让我们在接下来的类中实现带有Bahdanau注意力的循环神经网络解码器。首先,初始化解码器的状态,需要下面的输入:编码器在所有时间步的最终层隐状态,将作为注意力的键和值;上一时间步的编码器全层隐状态,将作为初始化解码器的隐状态;编码器有效长度(排除在注意力池中填充词元)。在每个解码时间步骤中,解码器上一个时间步的最终层隐状态将用作查询。原创 2024-08-29 22:31:20 · 1051 阅读 · 0 评论 -
用TensorFlow实现线性回归
使用keras API实现。# keras是TensorFlow的高级API。原创 2024-08-22 18:16:12 · 950 阅读 · 1 评论 -
机器学习笔记:机器翻译与数据集(详细解释)
与之前语言处理的单语言数据集不同,机器翻译的数据集使用双语言的序列对构成,因此处理方式也有不同。首先引入相关库。原创 2024-08-09 15:25:45 · 1130 阅读 · 0 评论 -
机器学习笔记:注意力机制中多头注意力的实现
单个注意力学到的东西有限,可以通过对不同的注意力进行组合,学到不同的知识,以达到想要的目的。因此采用”多头注意力“的方法进行实现,即有多个注意力”头“,对其进行连结得到输出。原创 2024-08-12 19:43:14 · 481 阅读 · 0 评论 -
一文看懂,注意力机制到底是什么
非参数注意力池化,也称之为Nadaraya-Watson核回归,它提出根据输入的位置对输出yi进行加权。非参数的Nadaraya-Watson核回归具有一致性(consistency)的优点: 如果有足够的数据,此模型会收敛到最优结果。尽管如此,我们还是可以轻松地将可学习的参数集成到注意力池化中。相对于Nadaraya-Watson核回归,这只是多一个权重参数而已。原创 2024-08-11 17:01:07 · 1208 阅读 · 0 评论 -
机器学习笔记:预测序列的评估
以下为BLEU的公式定义,我们用它进行结果评估。原创 2024-08-11 10:52:41 · 348 阅读 · 0 评论 -
机器学习笔记:编码器与解码器
在机器翻译中,输入的序列与输出的序列经常是长度不相等的序列,此时,像自然语言处理这种直接使用循环神经网络或是门控循环单元的方法就行不通了。因此,我们引入一个新的结构,称之为“编码器-解码器”(Encoder-Decoder),通过这种结构,来实现输入输出长度不均等的问题。原创 2024-08-09 15:49:34 · 771 阅读 · 0 评论 -
循环神经网络的数据集处理
本文以time Machine数据集为例,使用mxnet框架。原创 2024-08-06 13:54:02 · 1134 阅读 · 0 评论 -
循环神经网络中的采样问题
在完成对数据集的处理后,接下来需要读取数据,对其进行合理采样。数据集的采样主要分为两种,随机采样和顺序分区,接下来依次进行介绍。原创 2024-08-06 18:00:09 · 732 阅读 · 0 评论 -
机器学习笔记:seq2seq训练
这节真是有够难的,笔者目前正在学习这一节,只不过先把这个博客发出来。所以说,可能有很多地方还只是一笔带过,后面还会再慢慢更新。另外关于seq2seq的结构,可以看之前发的博客。原创 2024-08-10 15:36:27 · 708 阅读 · 0 评论 -
机器学习笔记:门控循环单元的建立
门控循环单元(Gated Recurrent Unit,简称GRU)是循环神经网络一种较为复杂的构成形式,其用途也是处理时序数据,相比具有单隐藏状态的RNN,GRU具有忘记的能力,可以忘记无用的数据。原创 2024-08-08 10:04:43 · 365 阅读 · 0 评论 -
机器学习笔记:序列到序列学习[详细解释]
本节我们使用两个循环神经网络的编码器和解码器, 并将其应用于序列到序列(sequence to sequence,seq2seq)类的学习任务。遵循编码器-解码器架构的设计原则, 循环神经网络编码器使用长度可变的序列作为输入, 将其转换为固定形状的隐状态。换言之,输入序列的信息被编码到循环神经网络编码器的隐状态中。原创 2024-08-10 11:54:47 · 1035 阅读 · 0 评论 -
从零开始实现循环神经网络
本节我们通过使用MXnet,来从零开始的实现一个含有隐藏状态的循环神经网络。原创 2024-08-07 14:27:57 · 1007 阅读 · 0 评论