DeepLearning总结
文章平均质量分 84
茫茫人海一粒沙
这个作者很懒,什么都没留下…
展开
-
边写代码边学习之TF Attention
注意力机制(Attention Mechanism)是机器学习和人工智能领域中的一个重要概念,用于模拟人类视觉或听觉等感知过程中的关注机制。注意力机制的目标是让模型能够在处理信息时,更加关注与任务相关的部分,忽略与任务无关的信息。这种机制最初是受到人类大脑对信息处理的启发而提出的。注意力机制的基本原理如下:输入信息:首先,注意力机制接收输入信息,这可以是序列数据、图像、语音等。查询、键和值:对于每个输入,注意力机制引入了三个部分:查询(query)、键(key)、值(value)。这些部分通常是通过神经网络原创 2023-09-02 22:20:59 · 632 阅读 · 0 评论 -
边写代码边学习之Bidirectional LSTM
参数layer:keras.layers.RNN实例,例如keras.layers.LSTM或keras.layers.GRU。它也可以是满足以下条件的 keras.layers.Layer 实例:成为序列处理层(接受 3D+ 输入)。有一个 go_backwards、return_sequences 和 return_state 属性(与 RNN 类具有相同的语义)。有一个 input_spec 属性。通过 get_config() 和 from_config() 实现序列化。原创 2023-08-24 23:07:54 · 1225 阅读 · 0 评论 -
边写代码边学习之全连接Dense
units,**kwargs参数units:正整数,输出空间的维数。activation:要使用的激活函数。如果您未指定任何内容,则不会应用任何激活(即“线性(linear)”激活:a(x) = x)。use_bias:布尔值,该层是否使用偏置向量。:内核权重矩阵的初始化器。r:偏置向量的初始化器。:应用于内核权重矩阵的正则化函数。:应用于偏差向量的正则化函数。:应用于层输出的正则化函数(其“激活”)。:应用于内核权重矩阵的约束函数。:应用于偏置向量的约束函数。原创 2023-07-26 22:58:35 · 1307 阅读 · 0 评论 -
边写代码边学习之卷积神经网络CNN
卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习神经网络的架构,主要用于图像识别、图像分类和计算机视觉等任务。它是由多层神经元组成的神经网络,其中包含卷积层、池化层和全连接层等组件。CNN的设计受到了生物视觉系统的启发,其中最重要的组件是卷积层。卷积层通过使用一系列称为卷积核(或过滤器)的小矩阵,对输入图像进行卷积操作。这个卷积操作可以理解为滑动窗口在输入图像上的移动,对窗口中的图像部分和卷积核进行逐元素相乘并相加,从而生成输出特征图。原创 2023-07-28 23:26:12 · 572 阅读 · 0 评论 -
边写代码边学习之批归一化(BatchNormalization)
归一化(Normalization)是指将不同类型、不同取值范围等不同的数据按照一定的规则统一转化为相同的范围,使得数据在同一数值区间内比较、处理更加合理、有意义。归一化可以消除数据特征之间的量纲差异,使得每个特征在权重计算中起到相同的作用,同时还可以增加算法的收敛速度,提高模型的预测精度。使结果值映射到[0 ,1]之间。,这种方法给予原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1.,其中为均值,原创 2023-08-05 12:06:29 · 369 阅读 · 0 评论 -
边写代码边学习之RNN
循环(Recurrent Neural Network,RNN)是一种以序列数据为输入来进行建模的深度学习模型,它是 NLP 中最常用的模型。其结构如下图:x是输入,h是隐层单元,o为输出,L为损失函数,y为训练集的标签.这些元素右上角带的t代表t时刻的状态,其中需要注意的是,因策单元h在t时刻的表现不仅由此刻的输入决定,还受t时刻之前时刻的影响。V、W、U是权值,同一类型的权连接权值相同。原创 2023-08-05 18:28:51 · 908 阅读 · 0 评论 -
边写代码边学习之LSTM
长短期记忆网络 LSTM(long short-term memory)是 RNN 的一种变体,其核心概念在于细胞状态以及“门”结构。细胞状态相当于信息传输的路径,让信息能在序列连中传递下去。你可以将其看作网络的“记忆”。理论上讲,细胞状态能够将序列处理过程中的相关信息一直传递下去。因此,即使是较早时间步长的信息也能携带到较后时间步长的细胞中来,这克服了短时记忆的影响。信息的添加和移除我们通过“门”结构来实现,“门”结构在训练过程中会去学习该保存或遗忘哪些信息。原创 2023-08-06 16:32:38 · 981 阅读 · 0 评论 -
边写代码边学习之numpy
matmul() 用于计算两个数组的矩阵乘积。示例如下。原创 2023-08-06 23:17:06 · 260 阅读 · 0 评论