- 博客(5)
- 收藏
- 关注
RSS订阅转载 详解梯度爆炸和梯度消失
那么为什么会出现梯度消失的现象呢？因为通常神经网络所用的激活函数是sigmoid函数，这个函数有个特点，就是能将负无穷到正无穷的数映射到0和1之间，并且对这个函数求导的结果是f′(x)=f(x)(1−f(x))。因此两个0到1之间的数相乘，得到的结果就会变得很小了。神经网络的反向传播是逐层对函数偏导相乘，因此当神经网络层数非常深的时候，最后一层产生的偏差就因为乘了很多的小于1的数而越来越...
2018-01-02 15:06:00
376
转载 TensorFlow学习笔记（一）：数据操作指南
扩充 TensorFlow tf.tile对数据进行扩充操作import tensorflow as tftemp = tf.tile([1,2,3],[2])temp2 = tf.tile([[1,2],[3,4],[5,6]],[2,3])with tf.Session() as sess: print(sess.run(temp)) ...
2017-11-23 16:52:00
165
转载 leetCode-数组：Remove Duplicates from Sorted Array
Remove Duplicates from Sorted Array：从排列后的数组中删除重复元素考察数组的基本操作：class Solution { public int removeDuplicates(int[] nums) { if (nums==null || nums.length==0) re...
2017-11-22 16:08:00
125
转载 LeetCode-分类题解
数组Remove Duplicates from Sorted ArrayRemove Duplicates from Sorted Array IISearch in Rotated Sorted ArraySearch in Rotated Sorted Array IIMedian of Two Sorted ArraysLongest Consec...
2017-11-22 10:13:00
212
转载 深度学习之seq2seq模型以及Attention机制
RNN，LSTM，seq2seq等模型广泛用于自然语言处理以及回归预测，本期详解seq2seq模型以及attention机制的原理以及在回归预测方向的运用。1. seq2seq模型介绍 seq2seq模型是以编码（Encode）和解码（Decode）为代表的架构方式，seq2seq模型是根据输入序列X来生成输出序列Y，在翻译，文本自动摘要和机器人自动问答以及一些回归预测任务上有...
2017-11-14 18:49:00
1190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人