深度学习
文章平均质量分 61
小奶糕的笔记本
我的笔记本
展开
-
深度学习——文本预处理
①词元的类型是字符串,模型输入的是数字(模型训练使用的是tensor是基于下标的)。将文本行列表lines作为输入,列表中的每个元素是一个文本序列(一条文本行)。为了对文本进行预处理,我们通常将文本拆分为词元,构建词表将词元字符串映射为数字索引,并将文本数据转换为词元索引以供模型操作。2.3建立词表,将拆分的词元映射到数字索引:将文本转换为数字索引,方便模型的操作。②将训练集所有的文档合并在一起,对它们唯一的词元进行统计,得到的统计结果是。①将数据集读取到多条文本行组成的列表中,每条文本行是一个字符串。原创 2023-01-06 13:05:32 · 613 阅读 · 1 评论 -
深度学习——样式迁移(笔记)
①初始化合成图像,将其初始化内容图像。合成图像是风格迁移过程中唯一需要更新的变量X,即是风格迁移所需迭代的模型参数。③卷积神经网络多个层逐级抽取图像特征,可以选择某些层的输出作为内容特征或者风格特征。④选择的神经网络含有3个卷积层,第2层输出内容特征,第1,3层是风格特征。1.将样式图片中的样式(比如油画风格)迁移到内容图片上,得到合成的图片。当模型训练结束时,我们输出风格迁移的模型参数,即得到最终的合成图像。②用一个预训练的卷积神经网络抽取图像的特征。2.基于CNN的样式迁移。原创 2022-12-29 15:47:41 · 700 阅读 · 0 评论 -
深度学习——双向循环神经网络(笔记)
Ⅱ如果使用双向循环神经网络预测下一个词元,尽管在训练的时候能够利用所预测词元过去和未来的数据(也就是所预测词元的上下文)来估计所预测的词元,但是在测试的时候,模型的输入只有过去的数据(也就是所预测词所在位置之前的信息),所以会导致精度很差。最后输出层计算得到Ot。Ⅰ主要原因是网络的前向传播需要在双向层中进行前向和后向递归,并且网络的反向传播也以依赖于前向传播的结果,因此梯度求解将有一个非常长的链。①对于序列来讲,假设的目标是:给定观测的情况下(在时间序列的上下文或语言模型的上下文),对于。原创 2023-01-19 15:47:00 · 1566 阅读 · 0 评论 -
深度学习——注意力分数(笔记+代码)
③假设query和key的所有元素都是独立的随机变量,并且都满足零均值和单位方差,那么两个向量的点积的均值为0,方差为d。(除以根号d的目的是为了降低对ki的长度的敏感度,使得 无论向量的长度如何,点积的方差都在不考虑向量长度情况下是1)①假设query是一个长为q的向量,ki是长为k的向量,vi是长为v的向量。①注意力分数是query和key的相似度,注意力权重是注意力分数的softmax的结果(0到1之间的数)①α(x,xi):注意力权重,权重是一组大于等于0,相加和为1的数。原创 2023-02-09 17:17:48 · 1440 阅读 · 0 评论 -
深度学习——循环神经网络RNN(笔记)
第三个时间步的损失将取决于下一个字符的概率分布,而下一个字符是基于特征序列 “m”、“a”、“c” 和这个时间步的标签 “h” 生成的。2、应用到语言模型中时,循环神经网络根据当前词预测下一次时刻词根据当前的输入更新当前时刻的隐藏状态就能够预测下一个时刻的输出RNN 是一个隐变量模型,隐变量是一个向量。语言模型实际上是分类模型。假设字典大小是m,语言模型是m类的分类问题,每次预测下一个词的时候,实际上在预测下一个词的类别。①t时刻的输出ot是根据ht输出的,ht是使用的是x(t-1)的内容。原创 2023-01-10 20:48:33 · 1030 阅读 · 1 评论 -
深度学习——序列模型(笔记)
可以对t时刻之前的数据进行建模,使用自回归模型(给定一些数据,预测数据的时候使用的是本数据样本,而不是其他数据),表示成一个函数,可以看作是机器学习模型,在t时刻之前的数据上进行训练,然后取预测t时刻的数据。表示从x1一直到xT的方向,想要知道时序序列T时刻发生的事情:T时刻之前所有时刻发生的事情。的值是固定的,不会随着时间的增大而增大(过去预测的时间越长,关联程度小)已知未来T时刻发生的事情,反推过去时刻发生的事情,物理上不一定可行。有一些数据,预测数据的时候,使用的是本数据样本而不是其他数据。原创 2023-01-03 11:51:03 · 760 阅读 · 0 评论 -
深度学习——门控循环单元GRU(笔记)
当时间到达一定的长度的时候,隐藏状态积累过多的信息,不利于相对靠前的信息的提取。②当Rt全部变为0,相当于从当前时刻开始,前面的信息全部不要,隐藏状态全部变为0.从初始化状态开始,任何预先存在的隐状态都会重置默认值。①Rt是取值0~1的值,Rt越靠近0,Rt和H(t-1)按元素乘法得到的结果就越靠近0,相当于上一时刻的隐藏状态忘掉。④Rt是一个可学习的参数。Ⅱ能遗忘的机制(重置门)Rt:此刻的输入不重要,或者丢掉隐藏状态的一些东西。③当Rt全部是1,当前时刻所有的信息更新,等价于RNN的隐状态更新方式。原创 2023-01-13 16:04:46 · 501 阅读 · 0 评论 -
深度学习——自注意力机制和位置编码(笔记)
①投影矩阵和序列中的位置i是无关的,但是和 j 是相关的(和 dimension 的信息是相关的),意味着在一个序列中,假设一个词出现在另外一个词两个或者三个位置的时候,不管这对词出现在序列中的什么位置,对于位置信息来讲,都是可以通过一个同样的线性变换查找出来的。②编码使用的是 sin 函数或者是 cos 函数,使得它对于序列中两个固定距离的位置编码,不管它们处于序列中的哪个位置,他们的编码信息都能够通过一个线性变换进行转换。Ⅲ自注意力来说,输入的位置打乱,输出位置会变化,但是每个输出的内容不变。原创 2023-02-15 17:29:46 · 1998 阅读 · 0 评论 -
深度学习——锚框(笔记)
算法的操作是先提出一些框,在锚框里有没有关注的物体。如果有关注的物体,锚框慢慢调整到真实边缘框的位置。“学习的过程是在各位置上都学习一个正确的锚框,预测的时候,只要物体出现,网络就知道在哪里标上正确的bbox”锚框的偏移就是关联边缘框的偏移,偏移量根据锚框和真实边缘框的相对位置以及大小进行标记)挑选出来,假设x23,那么将边缘框3中的标号给锚框2,删除X23所在的行和列。A是锚框 B是边缘框 分子是交集,分母是并集。以此类推,直到所有的边缘框与对应的锚框关联。①列:标注好的边缘框,4列表示4个边缘框。原创 2022-12-21 11:07:59 · 1066 阅读 · 0 评论 -
深度学习——深度循环神经网络(笔记)
GRU、RNN、LSTM 在结构上都是相同的,只是隐状态 H 的计算方式有区别,所以它们加深神经网络的原理都是相同的。的隐状态替代上图中深度循环网络的隐状态计算,就能够得到深度门控循环神经网络或长短期记忆神经网络。④深度循环神经网络需要大量的调参(如学习率和修剪)来确保合适的收敛,模型的初始化也需要谨慎。如长短期记忆网络、门控循环单元或经典循环神经网络。通过添加多个隐藏层的方式来实现,每个隐藏状态都连续地传递到。①深度循环网络使用多个隐藏层来获得更多的非线性。②在深度循环神经网络中,隐状态的信息被传递到。原创 2023-01-17 15:48:45 · 224 阅读 · 0 评论 -
深度学习——物体检测算法:R-CNN,SSD,YOLO(笔记)
④yolo 在后续的版本(V2,V3,V4...)中有持续的改进,但是核心思想没有变,真实的边缘框不会随机的出现,真实的边缘框的比例、大小在每个数据集上的出现是有一定的规律的,在知道有一定的规律的时候就可以使用聚类算法将这个规律找出来(给定一个数据集,先分析数据集中的统计信息,然后找出边缘框出现的规律,这样之后在生成锚框的时候就会有先验知识,从而进一步做出优化)①输入图像后,首先进入一个基础网格抽取特征,抽取完特质之后对每个像素生成大量的锚框(每个锚框就是一个样本,然后预测锚框的类别和偏移)原创 2022-12-22 19:48:19 · 2184 阅读 · 0 评论 -
深度学习——seq2seq2笔记和代码
它直到真正的翻译是什么样子的,所以解码器的输入(每个RNN时刻 的输出)所使用的实际上是真正的目标句子的输入,即使是训练的时候翻译错了。所以说真实的标签很长,预测的长度很短的话,会导致前面的指数项比较小,因为预测的长度很短的话,就会越容易命中真实的标签(比如只有标签“A”,预测随便一个就命中了),所以前半部分的指数项是为了惩罚较短的预测序列,防止预测的长度过短。①pn表示n-grams的精度,它是两个数量的比值:第一个是预测序列与标签序列中匹配的n元语法的数量,第二个是预测序列中n元语法的数量的比率。原创 2023-02-07 20:13:23 · 834 阅读 · 0 评论 -
深度学习——长短期记忆网络LSTM(笔记)
由三个具有sigmoid激活函数的全连接层处理,计算输入门,遗忘门,输出门的值(三个门的值在0~1)Ot为0丢弃当前的 Xt 和过去所有的信息,只保留记忆元内的所有信息,而不需要更新隐状态。①在LSTM中,通过输入门和遗忘门控制输入和遗忘:输入门lt控制采用多少来自Ct的新数据,遗忘门控制保留过去多少记忆元C(t-1)的内容。②遗忘门是1输入门是0,过去的记忆元C(t-1)传递当前时间步。2 长短期记忆网络包含三种类型的门:输入门、遗忘门和输出门。③上一时刻的记忆单元作为状态输入到模型。原创 2023-01-16 16:37:12 · 781 阅读 · 0 评论 -
深度学习——全卷积神经网络FCN(笔记)
CNN模型最后两层:全连接层(label语义信息)和全局平均池化层(全连接层将224*224的图片变成7*7,全局平均池化把7*7变成平均1*1),图片分类没问题。将特征图的高和宽变换为输入图像同样的尺寸,输出通道包含空间位置像素的类别预测。③使用1*1卷积层将输出通道转换为数据集的类数(21类),转置卷积将要素图的高宽增加32。②后面的全连接层和平均池化层不需要,创建一个全卷积网络net,缩小32。②在全连接卷积网络,可以将转置卷积层初始化为。Ⅰ通过1*1卷积层将通道数变换为类别个数。原创 2022-12-27 15:26:15 · 861 阅读 · 0 评论 -
深度学习——注意力机制(笔记+代码)
②在给定的数据进行查询xi,选择和新给定的值比较近的数据,然后将这些数据对应的value值进行加权求和,得到最终的query,不需要学习参数。f(x)的 key 和所有的不随意线索的 key 做距离上的计算(α(x,xi),通常称为注意力权重),分别作为所有的 value 的权重。偏向的选择某些输入—根据query偏向的选择输入,显示的加入query,根据query查询所需要的东西。平均池化:最简单的方案,不需要管查询的东西(f(x)的x),只对y求和取平均就可以了。(随着意志,主动的,有意识)和。原创 2023-02-08 17:37:32 · 1102 阅读 · 0 评论 -
深度学习——编码器
②解码器生成输出:编码器将固定的形状解码状态映射到长度可变的序列。①编码器处理输入:接受一个长度可变的序列作为输入,并将转换为具有固定形状的编码状态。编码器拿到输入之后,将其表示为中间状态或中间表示(隐藏状态,特征图)在CNN中,输入一张图片,经过多层的卷积层,最后输出层判别图片中的物体的类别。架构可以将长度可变的序列作为输入和输出,因此适用于机器翻译等序列转换问题。编码器将长度可变的序列作为输入,并将其转换为具有固定形状的编码状态。解码器将具有固定形状的编码状态映射为长度可变的序列。原创 2023-01-27 14:47:05 · 1759 阅读 · 0 评论 -
深度学习——转置卷积(笔记)
1.卷积层和汇聚层通常会减少下采样输入图像的空间维度(高和宽),语义分割对输入进行像素级别的输出,但是卷积会不断减小高宽,不利于像素级别的输出。当将高和宽两侧的填充数指定为1时,转置卷积的输出中将删除第一和最后的行与列。2.具体操作:步幅为1没有填充,输出(nh+kh-1)*(nw+kw-1)可以对W构造一个V,使得卷积等价于矩阵乘法。③如果卷积将输入从(h,w)变成了(同样超参数的转置卷积(是Y,X对应的向量版本。为什么称为转置卷积?①对于卷积Y=X★W。填充,步幅和多通风的。原创 2022-12-25 21:19:07 · 241 阅读 · 0 评论 -
深度学习——语义分割(笔记)
实例分割:如图片上的某一个点的像素,是属于第一个狗还是第二个狗。实例分割是目标检测的进化版本。②由于语义分割的输入图像和标签在像素上一一对应,输入图像会被随机裁剪为固定尺寸而不是缩放。①语义分割通过将图像划分为属于不同语义类别的区域,来识别并理解图像中像素级别的内容。语义分割关心的是每一个像素属于哪一个类。2.语义分割的应用:①背景虚化。3.语义分割与实例分割的区别。①语义分割将图片中的。原创 2022-12-23 17:08:00 · 297 阅读 · 0 评论 -
深度学习——语言模型(笔记)
②任意长度的序列,N元语法扫描的子序列长度是固定的。对于二元语法说,每次看长为2的子序列首先将长度为 2 的组成任何一个词 n(x1,x2)的总数存下来,n(x1)出现的概率存起来,把n存起来。①做预训练模型(BERT,GPT-3):给定大量的文本做预训练,然后训练模型预测整个文本出现的概率,能够得到较多的训练数据来做较大的模型。n:总词数,采集的所有样本,n(x)单个x单词出现的次数,n(x,x`)是连续单词对出现的次数。tau=0,计算xt的概率时,不用考虑xt之前的数据,认为每个词是独立的。原创 2023-01-08 15:03:26 · 833 阅读 · 0 评论 -
深度学习——机器翻译数据集(笔记)
①使用单词级词元化时,词表的大小明显大于使用字符级的词表大小。为了解决这个问题,可以将出现次数少于某一个特定值的低频词为未知词元②填充词元,序列的开始词元,序列的结束词元为了提高效率,可以通过截断和填充方式实现处理小批量文本序列进行训练。②使用小写替换大写字符,在单词和标点之间加入空格,标点也当作词元。对文本序列进行词元,每个词元是一个词或者是一个标点符号。①数据集的每一行都是制表符\t分隔的文本序列对。②序列对由英文序列和翻译后的法语序列组成。原创 2023-01-19 21:37:48 · 1171 阅读 · 2 评论 -
深度学习——利用GPU训练的方法
②数据:包括训练和测试。②数据:包括训练和测试。原创 2022-11-14 15:34:23 · 448 阅读 · 0 评论