![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Leon_winter
人工智能,大数据领域
展开
-
多任务学习(Multi-Task Learning,MTL):SB,MMOE,SNR
文章目录多任务学习通常通过隐藏层的 Hard 或 Soft 参数共享来完成。共享 Hard 参数是神经网络 MTL 最常用的方法,可以追溯1993年Caruana所发表的论文。在实际应用中,通常通过在所有任务之间共享隐藏层,同时保留几个特定任务的输出层来实现。共享 Hard 参数大大降低了过拟合的风险。1997年Jonathan Baxter在他的论文中证明过拟合共享参数的风险为 O(N)——...原创 2020-04-18 17:51:26 · 5873 阅读 · 0 评论 -
GradNorm:Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks,梯度归一化
文章目录引言gradnorm gradnorm论文地址:https://arxiv.org/abs/1711.02257 gradnorm是一种优化方法,在多任务学习(Multi-Task Learning)中,解决 1. 不同任务loss梯度的量级(magnitude)不同,造成有的task在梯度反向传播中占主导地位,模型过分学习该任务而忽视其它任务;2. 不同任务收敛速度不一致;这两个...原创 2020-03-21 22:39:12 · 21518 阅读 · 19 评论 -
attention机制、self-attention、channel attention、spatial attention、multi-head attention、transformer
attention机制觉得是通过连接实现的原创 2019-10-23 20:47:41 · 14054 阅读 · 1 评论 -
卷积(Convolution),反卷积(Transposed Convolution),上采样(UpSample, Interpolation)
文章目录卷积(Convolution)反卷积(Transponsed Convolution)上采样(UpSample, Interpolation)卷积(Convolution) 反卷积(Transponsed Convolution) 上采样(UpSample, Interpolation) 上采样(UpSample)操作其实是一个很大的范畴,反卷积也可以属于上采样操作,但这...原创 2019-09-21 10:49:29 · 1500 阅读 · 0 评论 -
时间卷积网络(TCN):结构+pytorch代码
文章目录TCNTCN结构1-D FCN的结构因果卷积(Causal Convolutions)膨胀因果卷积(Dilated Causal Convolutions)膨胀非因果卷积(Dilated Non-Causal Convolutions)残差块结构pytorch代码讲解TCN TCN(Temporal Convolutional Network)是由Shaojie Bai et al....原创 2019-08-29 10:40:44 · 90550 阅读 · 23 评论 -
pytorch笔记:构建LSTM网络,实现训练验证和测试过程
文章目录LSTMmany to one型many to many型 关于LSTM和RNN,可以看我的blog,这里总结一下如何用pytorch构建LSTM网络。LSTMmany to one型many to many型原创 2019-07-15 21:45:39 · 36095 阅读 · 36 评论 -
pytorch笔记:一些常见操作,构建全连接神经网络,验证操作,评估模式
为何叫pytorch按照官网安装,一般是两行命令,第一行装的是pytorch的主模块,第二行安装的torchvision,会包含一些数据库,例如图片数据库,还有一些预先训练好的模型,例如VGG,ResNet。torch自称是神经网络届的numpy,numpy会把array放到CPU中加速计算,torch会把tensor放到GPU中加速计算。torch和numpy有很多用法是一样的,只不过num...原创 2019-06-17 11:45:53 · 2787 阅读 · 0 评论 -
循环神经网络(RNN)与长短期记忆网络(LSTM)
循环神经网络原创 2019-04-30 11:23:27 · 7364 阅读 · 1 评论 -
批标准化(Batch Normalization, BN)
批标准化(Batch Normalization, BN) 在BP算法中,根据公式(3)(4),我们知道偏导数中存在激活函数发f(⋅)f(·)f(⋅)的导数,如果激活函数是logistic-sigmoid或者tanh函数,它们的导数值域均在[0,1]之间,所以随着层数的增多,反向传播会持续缩小残差δ\deltaδ的值,造成远离输出层的权值与偏差的梯度不断的缩小(根据公式(1)(2)),所以这些...原创 2019-04-16 10:29:00 · 3518 阅读 · 1 评论 -
卷积神经网络(CNN)
文章目录卷积神经网络(CNN)1. 卷积的理解卷积神经网络(CNN)1. 卷积的理解原创 2019-04-10 21:56:13 · 2537 阅读 · 1 评论 -
人工神经网络(ANN)
Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达,从而可以将其认为是经过网络学习到的特征。基于该特征,可以进行进一步的相似度比较等。...原创 2019-03-27 20:56:59 · 2153 阅读 · 1 评论