深度学习
文章平均质量分 86
唐风绸繆
这个作者很懒,什么都没留下…
展开
-
深度学习:第六章:生成对抗网络GAN
原始的生成网络生成的样本的真实程度只能通过判别网络才知道,所以在训练生成网络时,需要联合判别网络才能达到训练的目的。生成器先将生成的假样本标签置为1,认为这些假样本在生成网络训练的时候是真样本。当假样本足够真实,标签为1时,判别器给出的误差就会减小,这就完成了假样本向真样本逐渐逼近的过程。一个很重要的操作是固定判别网络的参数,不让判别网络参数更新,只是让判别网络将误差传到生成网络,更新生成网络的参数。CGAN:GAN的改进,给原始GAN的生成器G和判别器D添加额外的条件信息,实现条件生成模型。原创 2024-04-15 21:37:55 · 187 阅读 · 0 评论 -
深度学习:第五章 目标检测
以往人们会将一次训练分为预处理,特征提取等阶段,而端到端整个学习的流程并不进行人为的子问题划分,而是完全交给深度学习模型)如果把这些“False Positives”收集起来,对SVM进行二次训练,经过二次训练的SVM的分类准确度一般会有一定的提升。SVM训练完训练完成后,如果完全分类正确,所有正样本的输出概率都大于0.5,而所有负样本的输出概率都小于0.5。两步走的目标检测:先进行区域推荐,然后目标分类。迁移学习:是指利用数据或模型之间的相似性,将在旧领域学习过的模型,应用于新领域的一种学习过程。原创 2024-04-15 21:37:13 · 550 阅读 · 0 评论 -
深度学习:第四章:循环神经网络RNN和LSTM
先输入的内容携带的信息,会被后输入的信息稀释/覆盖掉,输入序列越长,这样的现象越严重,解码效果会大打折扣。RNN模型在梯度下降过程中更倾向于向序列结尾处的权值的正确方向进行更新,也就是说,越远的序列输入的对权值的正确变化所能起到的“影响”越小,所以训练的结果就是往往出现偏向于新的信息,即不太能有较长的记忆功能。这样,在产生每一个输出的时候,都能够做到充分利用输入序列携带的信息。序列数据:前面的输入和后面的输出是有关联的。双向RNN:有些情况下,当前的输出不只依赖于之前的序列元素,还可能依赖之后的序列元素。原创 2024-04-15 21:34:01 · 666 阅读 · 0 评论 -
深度学习:第三章:卷积神经网络
其中的值,越接近1表示对应位置和feature的匹配越完整,越是接近-1,表示对应位置和feature的反面匹配越完整,而值接近0的表示对应位置没有任何匹配或者说没有关联。在矩阵的边界上填充一些值,以增加矩阵的大小,通常都用0来进行填充的通过填充的方法,当卷积核扫描输入数据时,它能延伸到边缘以外的伪像素,从而使输出和输入size相同。给一张输入图片,用一个filter去扫这张图,filter里面的数就叫权重,这张图每个位置是被同样的filter扫的,所以这张图用到的所有神经元的权重是一样的。原创 2024-04-15 21:31:56 · 259 阅读 · 0 评论 -
深度学习:第二章 人工神经网络
sigmoid导数的最大值为0.25,权重w一般初始都在0,1之间,乘积小于1,多层的话就会有多个小于1的值连乘,导致靠近输入层的梯度几乎为0,得不到更新。梯度爆炸是也是同样的原因,只是如果初始权重大于1,或者更大一些,多个大于1的值连乘,将会很大或溢出,导致梯度更新过大,模型无法收敛。由于生物神经元具有不同的突触性质和突触强度,所以对神经元的影响不同,我们用权值 wij 来表示,其正负模拟了生物神经元中突出的兴奋和抑制,其大小则代表了突出的不同连接强度。每层有层号,输入层记为0层,输出层层号最大。原创 2024-04-15 21:29:58 · 632 阅读 · 0 评论 -
深度学习:第一章:机器学习基础
因为方差函数对误差的输出惩罚非常大,如果使用Softmax激活函数,加上方差函数作为损失函数,当输出接近0.0或者1.0的时候,梯度值非常小,网络的训练会比较慢。其中x为某个特征的原始值,μ为该特征在所有样本中的平均值,σ为该特征在所有样本中的标准差,x∗ 为经过标准化处理后的特征值。方法不唯一,如:对于一张图像,将每个像素的值减去训练集上所有像素值的平均值,比如已计算得所有像素点的平均值为128,所以减去128后,现在的像素值域即为[-128,127],即满足均值为零。一旦输入负数,ReLU函数将失效。原创 2024-04-15 21:26:53 · 991 阅读 · 0 评论