- 博客(6)
- 收藏
- 关注
RSS订阅原创 LSTM单元结构
如上图：1.遗忘门：假设我们正在阅读文本中的单词，并希望使用LSTM来跟踪语法结构，比如主语是单数还是复数。如果主语从单数变为复数，我们需要找到一种方法来摆脱我们先前存储的单复数状态的记忆值。在LSTM中，遗忘门是这样做的:其中，Wf是控制遗忘门的权重，我们把a,x(t)连接起来表示成[a,x(t)],然后乘以Wf，结果得到一个矢量（上式结果），其值在0~1之间。这个遗忘门向量将与前一个...
2018-12-21 15:06:40
3322
原创 权重初始化、正则化注意事项
权重初始化为全0或全1时当权重初始化为0时，隐藏层的每个神经元的权重变化都是一样的，那么相当于隐藏层中只有一个神经元在起作用，学不到其他特征了。权重初始化为随机值，而且越小越好权重正则化权重正则化是为了防止过拟合，那正则化到底起什么作用呢？我们认为：L2正则化依赖于较小权重的模型比具有较大权重的模型更简单这样的假设。正则化会把训练集的准确度降低，但是测试集的准确度提高了可以看到L2...
2018-12-15 21:48:32
547
原创 手写CNN时遇到的函数
参考教程：https://blog.csdn.net/u013733326/article/details/80086090np.pad函数np.pad（array, pad_width, mode, **kwargs)其中，array为要填充的数组；pad_width为要一个数组前后，上下，左右要填充的个数；mode为填充的方式，通常为constant,表示连续填充相同的值，也...
2018-12-09 13:47:58
187
原创 为什么正则化减少过拟合
奥卡姆剃刀原理说，在所有能解释数据的模型中，越简单的越靠谱。为了将过拟合的模型变为正好（Just Right），从图中直观上来看，只需要减小高次项的权重。如果我们的正则化系数（lambda）无穷大，则权重w就会趋近于0。权重变小，激活函数输出z变小。z变小，就到了激活函数的线性区域，从而降低了模型的非线性化程度，从而减小了过拟合。...
2018-11-25 19:54:10
309
原创 单隐层神经网络反向传播公式推导
此图为吴恩达神经网络视频课后作业的第二个编程题的反向传播的公式推导，课后题：https://blog.csdn.net/u013733326/article/details/79827273
2018-11-11 21:13:20
1147
原创 逻辑回归和神经网络权重初始化为0的问题
神经网络的权重w 的不同代表输入的向量有不同的特征，即权重越大的特征越重要，比如在人脸识别中，人脸的属性有眼睛，鼻子，嘴巴，眉毛，其中眼睛更能够影响人脸的识别，所以我们给与眼睛更大的权重。如果将权重初始化全为0，那么隐藏层的各个神经元的结果都是一样的，从而正向传播的结果是一样的，反向传播求得的梯度也是一样的，也就是说不管经过多少次迭代，更新的w(i)是相同的，这样就判断不了哪个特征比较重要了。...
2018-11-11 17:13:14
6237
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人