20190603--Talk is cheap，show me your code!

今天终于跑通了tensorflow语音识别的官方例子，就是这个：
https://blog.csdn.net/yj13811596648/article/details/90637656

原来，之前是cuda没装好，gpu的版本和cuda的版本也没有对上，cudnn也没装，后来阴差阳错弄好了以后我就想着能不能再试试。结果改好目录，直接运行train.py就开始训练了。原来是十个命令，18000步，我怕时间太长，就只改成yes，no两个命令，每分钟大概100步，估计3个小时左右能跑完吧。（结果4个小时才跑完，其实这个早点改小点就不用这么久了）其实还是4个命令，因为加上了静音和未知两个标签。

之前在kaldi上也跑通了yesno的代码，但因为那个只能大概看懂流程，没有看具体代码，所以没有很大成就感。这次tensorflow的代码我基本每一行都看了，收获很大。纪念一下。
有时间好好理解之后是不是做个讲解视频保存一下学习结果 ？还有部署到手机呢~~

今天在看pytorch的教程，因为一篇论文作者公开的源码是pytorch写的。最开始我找了一个keras的代码，觉得人家应该是跑通了才提交的吧，虽然github上只有一颗星。但是看着看着就感觉各种不对劲，预定义的参数都对不上，各种函数不理解。后来再下载master的pytorch代码才知道那个keras的代码确实有的地方少写了。
不应该因为自己不会就不去看一手资料，mark一下吧。
虽然要学要尝试的东西有很多，但也要一点一点来！！！

pytorch学习 中 torch.squeeze() 和torch.unsqueeze()的用法
https://blog.csdn.net/xiexu911/article/details/80820028

torch.normal()
https://www.cnblogs.com/lindaxin/p/8037965.html

我好像发现了一个秘密：
莫烦python主页
https://morvanzhou.github.io/
莫烦大神的pytorch教程在pytorch中文网上是不收费的，优酷上的，
还有大神自己的网站也能看
https://www.pytorchtutorial.com/pytorch-tutorials-list/#_PyTorch-3
只有在网易云课堂上是收费的，20块：
https://study.163.com/course/introduction/1003885021.htm
anyway，人家做视频也很费时间，我们花点钱也是应该的。

他的自我介绍，大神2018年已经开始在腾讯工作了
https://morvanzhou.github.io/about/

笔记：
torch.FloatTensor = 32-bit floating
torch.LongTensor = 64-bit integer

3.6 – 优化器 (Optimizer)：
SGD 是最普通的优化器, 也可以说没有加速效果, 而 Momentum 是 SGD 的改良版, 它加入了动量原则. 后面的 RMSprop 又是 Momentum 的升级版. 而 Adam 又是 RMSprop 的升级版. 不过从这个结果中我们看到, Adam 的效果似乎比 RMSprop 要差一点. 所以说并不是越先进的优化器, 结果越佳. 我们在自己的试验中可以尝试不同的优化器, 找到那个最适合你数据/网络的优化器.