qq_37431083的博客

1.生物学上的注意力机制动物需要 复杂环境下有效关注值得注意的点心理学框架：人类根据随意线索和不随意线索选择注意点举个例子：假如你面前有五个物品： 一份报纸、一篇研究论文、一杯咖啡、一本笔记本和一本书， 所有纸制品都是黑白印刷的，但咖啡杯是红色的。 换句话说，这个咖啡杯在这种视觉环境中是突出和显眼的， 不由自主地引起人们的注意。 所以你把视力最敏锐的地方放到咖啡上， 下图。由于突出性的非自主性提示的红杯子，被称为不随意线索。喝咖啡后，你会变得兴奋并想读书。 所以你转过头，重新聚焦你的眼睛

上一篇：现代循环神经网络-2.长短期记忆网络(LSTM)【动手学深度学习v2】文章目录3.深度循环神经网络3.深度循环神经网络在前面几篇文章中，只讨论了具有一个单向隐藏层的循环神经网络。 其中，隐变量和观测值与具体的函数形式的交互方式是相当随意的。 只要交互类型建模具有足够的灵活性，这就不是一个大问题。 然而，对于一个单层来说，这可能具有相当的挑战性。 之前在线性模型中，我们通过添加更多的层来解决这个问题。 而在循环神经网络中，我们首先需要确定如何添加更多的层， 以及在哪里添加额外的非线性，因此这个问

上一篇：现代循环神经网络-1.门控循环单元（GRU）【动手学深度学习v2】文章目录2. 长短期记忆网络2.1 输入门、忘记门和输出门2.2 候选记忆元2.3 记忆单元2.4 隐状态2.5 LSTM的代码实现2.6 LSTM的简洁实现2. 长短期记忆网络长短期记忆网络的设计灵感来自于计算机的逻辑门。 长短期记忆网络引入了记忆元（memory cell），或简称为单元（cell）。 有些文献认为记忆元是隐状态的一种特殊类型， 它们与隐状态具有相同的形状，其设计目的是用于记录附加的信息。 为了控制记忆元，我

文章目录1.门控循环单元(GRU)1.1 门控隐状态A.重置门与更新门1.门控循环单元(GRU)GRU是一个比较新的提出来的，在LSTM之后提出，但是相比LSTM思想更简单一点，效果也差不多，但是GRU的计算速度比LSTM更快。在RNN中，太长的信息处理效果并不好，因为RNN将所有信息都放进隐藏单元里，当时间步很长时，隐藏状态可能累积了太多信息，对前面很久出现的信息可能就会被忽略或淡化。在一个序列中，不是每个观测值都是很重要的，而且序列的各个部分之间存在逻辑中断，例如书章节之间的过渡，为了解决这些问题

文章目录4 循环神经网络4 循环神经网络潜变量自回归模型中，隐变量hth_tht​与ht−1h_{t-1}ht−1​和xt−1x_{t-1}xt−1​有关,xtx_txt​与hth_tht​和xt−1x_{t-1}xt−1​有关。更新隐藏状态：ht=ϕ(Whhht−1+Whxxt−1+bh)h_t=\phi(W_{hh}h_{t-1}+W_{hx}x_{t-1}+b_h)ht​=ϕ(Whh​ht−1​+Whx​xt−1​+bh​)输出：ot=ϕ(Whoht+bo)o_{t}=\phi(W_{ho}

文章目录3.语言模型3.语言模型给定文本序列x1,...,xTx_1,...,x_Tx1​,...,xT​，语言模型的目标是估计联合概率p(x1,...,xT)p(x_1,...,x_T)p(x1​,...,xT​)他的应用包括做预训练模型（eg BERT, GPT-3）生成文本，给定前面几个词，不断的使用xt∼p(xt∣xt−1,...,x1)x_t \sim p(x_t|x_{t-1},...,x_1)xt​∼p(xt​∣xt−1​,...,x1​)来生成后续文本判断多个序列中哪个更为常

文章目录2.文本预处理2.1 读取数据集2.2 词元化2.文本预处理序列数据的多种形式中，文本数据是最常见的一种，在英文文本中一篇文章或者一段句子可以看做一串单词序列，每个单词在文章中出现的先后次序可以看做文本的时序信息，因此一篇文章可以看做时序序列。文本预处理的核心就是将单词映射为能够被神经网络认识的数字样本。读取数据集：将文本作为字符串加载到内存中词元化：将字符串拆分为词元建立词表：建立一个词表，将拆分的词元映射到数字索引，然后将文本转换为数字索引序列，方便模型操作。# 运行工具：col

文章目录1.序列模型1.1 统计工具1.2 自回归模型1.3 总结1.序列模型与CNN提取空间信息不同的是，序列模型处理的是时间信息。1.1 统计工具下图为股票价格（近30年的富时100指数）假设在时间t观察到价格xtx_txt​，那么得到T个不独立的随机变量，(x1,...,xT)−p(X)(x_1,...,x_T) - p(X)(x1​,...,xT​)−p(X)联合概率可以用条件概率展开p(a,b)=p(a)p(b∣a)=p(b)p(a∣b)p(a,b)=p(a)p(b|a)=p(

文章目录1.语义分割和实例分割2.语义分割的数据集处理3. 转置卷积4.全卷积神经网络(FCN)1.语义分割和实例分割2.语义分割的数据集处理最重要的语义分割数据集之一是Pascal VOC2012%matplotlib inlineimport osimport torchimport torchvisionfrom d2l import torch as d2l#@saved2l.DATA_HUB['voc2012'] = (d2l.DATA_URL + 'VOCtrainval

文章目录1.R-CNN1.1 R-CNN1.2 Fast R-CNN1.3 Faster R-CNN1.4 Mask R-CNN2.SSD3.YOLO1.R-CNN1.1 R-CNN使用传统的锚框(提议区域)选择算法–[选择性搜索算法] (https://blog.csdn.net/weixin_43694096/article/details/121610856) 选取高质量锚框。对每一个锚框使用预训练模型对其提取特征，每个锚框需要调整为预训练模型所需要的输入尺寸。使用支持向量机(SVM)对

查看GPU状态!nvidia-smi一个GPU一共16130M显存，0号GPU已使用3446M显存，一般GPU的利用率低于50%，往往这个模型可能有问题。本机CUDA版本，在安装驱动时应该注意选择对应版本的驱动。指定GPUimport torchfrom torch import nntorch.device('gpu'), torch.cuda.device('cuda'), torch.cuda.device('cuda:1')指定计算设备为GPU，使用多个GPU，本代码指定了

1. TypeError: len is not well defined for symbolic Tensors. (packed_2:0) Please call x.shape rather than len(x) for shape information.意思是tensor张量不能使用len()这个函数，可以把len(x_test)改为x_test.shape[0]同样可以得到测试集的长度。2.ValueError: When using data tensors as input to a

数据集下载wider face数据集下载链接： http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/将label改为VOC格式解压下载好的label文件：wider_face_split，找到wider_face_train_bbx_gt.txt文件，打开发现label的形式是0–Parade/0_Parade_marchingband_1_7...