Dod_Jdi的博客

说明一下，这和系列是对编程作业的作一些我认为比较重要的摘抄、翻译和解释，主要是为了记录不同的模型的主要思想或者流程，以及一些coding中常见的错误，作为查漏补缺之用。 作业链接：https://github.com/Wasim37/deeplearning-assignment。感谢大佬们在GitHub上的贡献。 1、随机数的生成 np.random.randn() 和 np.random...

1、L2正则化 不使用正则化的公式： J=−1m∑i=1m(y(i)log(a[L](i))+(1−y(i))log(1−a[L](i)))(1)(1)J=−1m∑i=1m(y(i)log⁡(a[L](i))+(1−y(i))log⁡(1−a[L](i)))J = -\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\...

1、卷积基本结构 Stride 步长： 滤波器在原始图片上每次水平或垂直移动的距离。 卷积大小的计算，滤波器大小为 f ，步长为 s , 填充为 p, 输入图片为 n×nn×n n \times n ，则卷积得到的特征图大小为, 下标 f 表示向下取整： [n+2p−fs]f×[n+2p−fs]f[n+2p−fs]f×[n+2p−fs]f [ \frac{n+2p-f}{s} ] _f \...

注意力机制模型 模型： 分为 Encoder层，Attention层 和 Decoder层。 将 Encoder层 的每个时间片的激活值 s<t>s<t>s^{} 拷贝 Tx 次然后和全部激活值 a (Tx个时间片) 串联作为Attention 层的输入，经过Attention层的计算输出 nynyn_y 个阿尔法 α，使用不同激活值 a 作为不同阿尔法 α 对每个单...