凌逆战的博客

其实模型的参数量好算，但浮点运算数并不好确定，我们一般也就根据参数量直接估计计算量了。但是像卷积之类的运算，它的参数量比较小，但是运算量非常大，它是一种计算密集型的操作。反观全连接结构，它的参数量非常多，但运算量并没有显得那么大。FLOPs(Floating-point Operations)：浮点运算次数，理解为计算量，可以用来衡量算法的复杂度。一个乘法或一个加法都是一个FLOPsFLOP...

　　我最近在学使用Pytorch写GAN代码，发现有些代码在训练部分细节有略微不同，其中有的人用到了detach()函数截断梯度流，有的人没用detch()，取而代之的是在损失函数在反向传播过程中将backward(retain_graph=True)，本文通过两个 gan 的代码，介绍它们的作用，并分析，不同的更新策略对程序效率的影响。　　这两个 GAN 的实现中，有两种不同的训练策...

作者：凌逆战时间：2019年11月1日博客园地址：https://www.cnblogs.com/LXP-Never/p/11543152.htmlchar RNN代码来源于https://github.com/hzy46/Char-RNN-TensorFlow前言本人在学习char RNN的过程中，遇到了很多的问题，但是依然选择一行代码一行代码的啃下来，并且注释好，我...

文章转载自凌逆战的博客园—通过代码学习RNN，彻底弄懂time_step - 凌逆战 - 博客园这篇博客不是一篇讲解原理的博客，这篇博客主要讲解tnesorlfow的RNN代码结构，通过代码来学习RNN，以及讲解time_steps，如果这篇博客没有让你明白time_steps，欢迎博客下面评论交流。我曾翻阅各大网站，各大博客，他们的对RNN中time_steps的讲解，都没有一个让人醍醐灌顶...