- 博客(7)
- 收藏
- 关注
RSS订阅原创 神经网络中现在所用的normalization methods 中的Group normalization
本文内容等多来自Group Normalization 的文章中的，地址如下：https://eccv2018.org/openaccess/content_ECCV_2018/papers/Yuxin_Wu_Group_Normalization_ECCV_2018_paper.pdf我们常用的batch Normal 是对batch size的大小是有关系的，一般batch size 为3...
2019-03-27 11:06:25
266
原创 tensorflow中losses计算的一些细节问题
我们都知道在计算losses 的时候结果是scale，同时batch大于1时要进行每个sample 加和之后除以batch，但是对于一个sample，比如回归多个点时，默认的计算方法 还是除以回归的点个数，这是看源码知道的内容，如有错误，请多多指教。下面是几个losses的计算代码：（tensorflow 中的）def absolute_difference( labels, p...
2019-03-08 16:37:20
3806
原创 阅读：PFLD: A Practical Facial Landmark Detector ，网络结构理解。
具体的文章内容，可以看文章，我们只是记录他的回归模型，所为了精度和速度的两种考量。文中给出的回归模型如下：虽然在最后用了全连接但是前面的卷积output channel 都能保持很小。另外一个优点感觉就是对多尺度加入，增加鲁棒性。这样可以平衡了全连接带来的计算复杂度的增加，但是我们要是最后也是用全卷积的话，为了保持精度就会对output 的channel 说增加，哪个速度更快要试验测一...
2019-03-06 22:29:33
1961
2
原创 【Leetcode 题中总结的编程思维】Maximum Product Subarray，最大乘积子序列
152. Maximum Product SubarrayMedium167677FavoriteShareGiven an integer array nums, find the contiguous subarray within an array (containing at least one number) which has the largest product.E...
2019-01-27 21:52:17
141
原创 对于带孔带孔卷积（atrous convolution）rate的计算
在这里我们都知道感受野的含义，同时也知道带孔卷积是为了在不缩小feature map 的大小的同时保持感受野大小不变，在这里我们要明确的说明感受野大小不变是怎么达到的，我们已一个3 layer 的net 来进行说明：rate 是为了layer 能够保证原有的感受野,所以rate 的决定是由上一层的stride（stride >1 的一个作用就是增大下层的感受野）rate的计算方...
2018-08-02 22:18:55
5024
2
原创 tf.contrib.seq2seq.BahdanauAttention函数和tf.contrib.seq2seq.LuongAttention函数学习
tf.contrib.seq2seq.BahdanauAttention（）__init__( num_units, memory, memory_sequence_length=None, normalize=False, probability_fn=None, score_mask_value=None, dtype=None, ...
2018-04-25 23:12:46
3973
翻译 意识流学习Tensorflow（一）
其实所有的教程，官方已经给的很是清楚了，在这里我只是进行学习和记录这个过程，所有的东西以官方内容为准。 首先Tensorflow 是以静态图来构建整个计算过程的，这个计算过程就是前向传播，加入loss 就是在图表中添加生成损失（loss）所需要的操作（ops），而training往损失图表中添加计算并应用梯度（gradients）所需的操作。这整个过程下来之后我们就有一个可以训练的神经网络，...
2018-04-20 23:00:19
268
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人