![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 72
pepsi_w
这个作者很懒,什么都没留下…
展开
-
11-注意力机制
观察上述公式发现,w加在(x-x_i)外,平方之内,乘以一个-1/2之后就相当于绝对值扩大了230倍左右,我们知道softmax函数在x趋向负无穷的时候值无限趋近于0,所以这样一来就保留了键和查询之间的差距足够小的pair,过滤掉了键和值差距较大的pair,从而达到注意力效果,使得预测结果更加准确。(其实就是通过训练中的y来对现在输入的xi的yi进行预测,预测的方式就是看现在输入的xi与之前训练过的xj之间的相似度,这个相似度就是yj对yi值影响的一个权重。现在,观察注意力的权重。原创 2022-09-21 18:00:56 · 1640 阅读 · 0 评论 -
10-编码器-解码器架构
束搜索是介于贪心搜索和穷举法之间的方法,贪心搜索是在每时刻都选择当前概率最大的预测值,穷举是将所有可能的序列都进行查看,最后选择一个概率最大的预测值。束搜索只在第一个时间步,选择K个最大的预测值,之后的时间步里同贪心搜索一样选择概率最大的预测序列,最后将得到的预测序列进行比较,选择其中概率最大的。为了连续生成输出序列的词元, 独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。编码器将输入的可变序列转化为定长的序列,再有解码器转变为可变的序列。原创 2022-09-16 20:31:14 · 1447 阅读 · 0 评论 -
10--深度循环神经网络
注意,该结构不能用于对下一词远进行预测任务,因为在预测下一个词元时,我们无法知道下一个词元的下文是什么, 所以将不会得到很好的精度。具体地说,在训练期间,我们能够利用过去和未来的数据来估计现在空缺的词,而在测试期间,我们只有过去的数据,因此精度将会很差。而前面提到的RNN都是往一个方向进行传播,不适合这种需要考虑上下文的结构,因此提到双向的循环神经网络来解决这个问题,该结构主要用于序列编码和给定双向上下文的观测估计。可以看出,该模型的困惑度虽然没有问题,但预测的结果却是糟糕的。原创 2022-09-16 09:55:12 · 169 阅读 · 0 评论 -
10--门控循环神经网络&长短期记忆网络LSTM
为了解决这些问题,提出了“长短期记忆”,而门控循环神经网络就就是基于该方法提出的网络,为了解决长期记忆和反向传播中的梯度等问题。原创 2022-09-12 17:45:41 · 650 阅读 · 0 评论 -
9--RNN
RNN原创 2022-09-09 20:44:20 · 468 阅读 · 1 评论 -
9--文本预处理、语言模型和数据集
在迭代过程中,除了对原始序列可以随机抽样外, 我们还可以保证两个相邻的小批量中的子序列在原始序列上也是相邻的。假设给定长度为 T 的文本序列 x1,x2, ... ,xT(可能是词序列,也可能是字符序列),xt (1原创 2022-09-08 12:29:22 · 978 阅读 · 0 评论 -
9--序列模型
在现实生活中,很多数据是具有时序结构的,如一段文字、语音等。原创 2022-09-06 18:56:09 · 293 阅读 · 0 评论 -
8--风格迁移
使用卷积神经网络,自动将一个图像中的风格应用在另一图像之上,即风格迁移(style transfer)。需要输入两张图片,一张是原图,另一张是想要应用的风格图像,如下图所示,最后输出风格迁移后的合成图像。原创 2022-09-02 11:31:56 · 1627 阅读 · 0 评论 -
8--全卷积网络(FCN)
全卷积网络(fully convolutional network,FCN)采用卷积神经网络实现了从图像像素到像素类别的变换。全卷积网络通过转置卷积,将中间层输出特征图的高宽转化为原始图像的高宽,实现了输出的类别预测与输入图像在像素级别上具有一一对应关系,通道维的输出即该位置对应像素的类别预测。...原创 2022-09-01 21:02:14 · 2147 阅读 · 0 评论 -
8--转置卷积
卷积核汇聚等方法都是下采样,会使得图像变小,卷积导致的图像变小是为了提取特征,而池化下采样是为了降低特征维度。但在像素级分类的语义分割中,需要使得输入和输出图像维度相同,但在卷积神经网络中空间空间维度(图片的高和宽)会变小,这里可以使用转置卷积这类上采样方法来增加特征图的空间维度。.........原创 2022-09-01 11:26:10 · 763 阅读 · 0 评论 -
8--语义分割
基于Pascal VOC2012 来了解语义分割中数据集的处理原创 2022-08-30 17:22:47 · 600 阅读 · 0 评论 -
7--目标检测算法(R-CNN系列)
R-CNN,Fast R-CNN,Fast R-CNN原创 2022-08-26 17:24:31 · 472 阅读 · 0 评论 -
6--SSD(单发多框检测)
SSD原创 2022-08-26 12:18:31 · 927 阅读 · 2 评论 -
6--多尺度目标检测
多尺度目标检测原创 2022-08-25 19:38:38 · 1105 阅读 · 0 评论 -
6--目标检测和边界框和锚框
目标检测和边界框原创 2022-08-24 21:02:15 · 1151 阅读 · 0 评论 -
5--California House Prices(使用MLP)
California House Prices(使用MLP)原创 2022-08-23 18:34:00 · 738 阅读 · 2 评论 -
6--微调
微调原创 2022-08-22 19:49:25 · 524 阅读 · 0 评论 -
6--数据增强(图片)
图像增广原创 2022-08-22 17:32:24 · 346 阅读 · 0 评论 -
5--残差网络(ResNet)
ResNet原创 2022-08-19 16:51:33 · 614 阅读 · 0 评论 -
5--GoogLeNet和批量规范化
GoogLeNet原创 2022-08-19 10:09:31 · 440 阅读 · 0 评论 -
5--NiN
Vgg原创 2022-08-18 20:55:17 · 203 阅读 · 0 评论 -
5--Vgg
VGG原创 2022-08-18 17:54:08 · 698 阅读 · 0 评论 -
5--AlexNet
AlexNet原创 2022-08-18 17:46:04 · 234 阅读 · 0 评论 -
4--卷积神经网络(LeNet)
LeNet在fashion_mnist数据集上的表现原创 2022-08-18 11:01:59 · 258 阅读 · 0 评论 -
4--卷积神经网络
卷积神经网络的基础知识,如卷积核、多输入核多输出通道、池化层等原创 2022-08-17 16:53:45 · 413 阅读 · 0 评论 -
3--深度学习计算
一些深度学习的基本知识 如层和块、参数的初始化、文件的保存等原创 2022-08-15 15:21:13 · 542 阅读 · 0 评论 -
2--Kaggle: 房价预测
kaggle:房价预测原创 2022-08-12 19:30:18 · 1064 阅读 · 0 评论 -
2--前向传播和反向传播
正向传播和反向传播转载 2022-08-12 10:03:55 · 1885 阅读 · 0 评论 -
2--丢弃法(Dropout)
dropout原创 2022-08-11 16:37:41 · 730 阅读 · 0 评论 -
2--权重衰退
权重衰退原创 2022-08-11 10:08:22 · 525 阅读 · 0 评论 -
2--模型选择 过拟合 欠拟合
过拟合 欠拟合原创 2022-08-10 17:11:50 · 417 阅读 · 0 评论 -
2--多层感知机
多层感知机原创 2022-08-10 11:02:16 · 1125 阅读 · 0 评论 -
1--线性神经网络(softmax回归)
softmax回归原创 2022-08-09 14:57:26 · 1981 阅读 · 0 评论 -
1-- 线性神经网络(线性回归)
线性回归原创 2022-08-07 17:52:12 · 798 阅读 · 0 评论 -
tensor-张量
在PyTorch中,张量Tensor是最基础的运算单位,与NumPy中的NDArray类似,张量表示的是一个多维矩阵。我的理解是tensor是一种数据结构,一种可以适用于GPU计算的数据结构。由于深度学习一般使用GPU进行计算,而传统的numpy的NDarray数据结构不能适用于GPU计算。...原创 2022-08-05 10:35:30 · 253 阅读 · 0 评论