- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Understandingthedifficultyoftrainingdeepfeedforwardneuralnetworks
singular values of the Jacobian 未理解
2018-11-28 14:26:10
324
原创 covariate shift和batch normalization问题
1.1Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift1.1.1论文Improving predictive inference under covariate shift by weighting the log-likelihood functio...
2018-11-28 14:14:12
264
原创 dncnn（残差网络图像去燥记录）
一，生成训练数据1，原文相关知识we use the noisy images from a wide range of noise levels (e.g., σ ∈ [0,55])to train a single DnCNN model。blind Gaussian denoising, SISR, and JPEG deblocking.the noisy image ...
2018-11-27 11:54:16
6492
原创 功率谱密度
一个信号x(t)是一个波，这个波必然有能量。而将这个波分解成很多个波以后，每个波都一个能量，所有这些波的能量相加的和应是原来信号的能量。如将一个信号x(t)用傅立叶变换分解成频域。可以认为x(t)是一个周期是-00到+00的函数，有很多种分解方法，如可以将其分解为所有频率是一维实数集的形式。而正常的2π傅立叶变换频率是自然数集。因此此时x(t)被分解为x1(t),x2(t),x3(t)...
2018-11-23 10:49:04
2926
原创 机器阅读理解2
论文1，ConvolutionalSequencetoSequenceLearning（1），将输入句子转换成attention，记得padding。（2），将结果embed成状态hj，用hj和attention计算出当前的attention。（3）将hj和attention输到输出，预测结果，进行下一个词的预测 ...
2018-11-22 11:55:52
191
原创 机器阅读理解machine comprehensive
梗概(1),word continuous representation将词向量表示成连续的向量形式，通过wordembed模型(2)，word continuous representation to sentence continuous representation将词连续向量转换成一个句子连续向量，通过卷积或lstm来实现。具体应用有：通过句子的语义连续向量和r...
2018-11-22 11:02:43
319
原创 深度学习问答模型记录2
第一天：前面采用了LSTM和其几种变体来解决信息提取问题，但是单独的lstm对语句的长度有限制，随着语句长度增加，网络的能力越来越降低。因此接下来采用attension net来解决。模型搭好后出现一个警告，即是The graph couldn't be sorted in topological order。即使我忽略这种错误继续训练，训练300epoch也无法得到好的结果，因此第一...
2018-11-22 11:01:59
382
转载 recurrent neural netword,lstm学习记录
参考：https://blog.csdn.net/zhaojc1995/article/details/805720981，rnn在时间层面上会存在梯度消失，原因是由于sigmoid和tan的导数都小于一导致。即使使用relu，则可能会遇到梯度爆炸问题。且过大的步长会导致学死，因为一旦全部为0则无法翻过来。sigmoid导数值范围为(0,0.25]，反向传播时会导致“梯度消失“。tanh函...
2018-11-13 14:12:39
88
原创 深度学习问答模型记录1
第一天：采用一个单层的lstm，输入是embedding的向量。输出接sigmoid二分类训练结果有一次训练5epoch就达到了百分之98，其他的即使经过100+epoch也无法达到目标结果查找原因：将batch-size变大（可以加速训练，但无法500轮也过不了百分之90）将learning-rate变为0.1（可以加速训练，但500epoch最高到百分之80）将lear...
2018-11-05 16:52:09
803
2
Estimation of！dependences￥based on（empirical data
2021-10-21
Stein_Real_Analysis_Solution_zhaoyue.pdf
2020-08-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人