深度学习
j-o-l-i-n
半路出家机房扫地僧,沉迷火炉炼丹和修仙。精通徒手写bug,曾出版《如何一秒爆显存》。
展开
-
DataLoader, when num_worker >0, there is bug
Since PyTorch seems to adopt lazy way of initializing workers, this means that the actual file opening has to happen inside of thegetitemfunction of the Dataset wrapper.https://discuss.pytorch.org...原创 2020-01-14 12:04:01 · 249 阅读 · 0 评论 -
Why I can't reproduce my results
1. Pytorch's CPU's and GPU's seeds are independent. So set/save/load them independentlyhttps://discuss.pytorch.org/t/are-gpu-and-cpu-random-seeds-independent/1422. If you use randomness on several...原创 2019-02-16 13:51:49 · 217 阅读 · 0 评论 -
神经网络中快速傅立叶变换(FFT)的梯度传递
最近需要在神经网络中构造复数酉矩阵做权重系数,使用了快速傅立叶变换和反变换.但是FFT不是theano的现成操作模块(有人写过对应的代码,所以应该会很快加进去了),所以想自己去写梯度传递来彻底搞清楚这件事.重新学一遍离散Fourier transform再加找梯度相关的文献学习,整整花了一周时间.从本科一毕业DFT就忘光了...在此总结了下,不得不说推倒的结果出来以后,真是出乎意料的漂原创 2017-09-05 21:24:42 · 6241 阅读 · 3 评论 -
windows上配置新的conda env+torch
conda create -n myenv scipy nb_conda -c peterjc123 torchpip install torchvision原创 2017-07-05 15:25:45 · 835 阅读 · 0 评论 -
非root用户暴力法解决选择性使用两个cudnn
之前学弟安装了一个cuda, 放在默认的地方/usr/local/cuda-7.5/后来加入cuDNN的lib64和include也拷贝到了这里,但是他是su,我不是。但这个cuDNN版本是5103,我的theano需要5,不需要5.1,不然总是有warning。又折腾了一天。下面是我的方法:从/usr/local/cuda-7.5/拷贝所有除了lib64和include的文件夹到原创 2016-09-21 13:38:06 · 2284 阅读 · 0 评论 -
解决linux的screen中gpu无法在theano中正常启用的问题
http://stackoverflow.com/questions/36781461/how-to-use-theano-within-screen-sessionI use theano on a remote server that I first ssh into (I don't have root on that system). This works fine, howeve转载 2016-09-20 01:05:47 · 1391 阅读 · 0 评论 -
How would a model change if we minimized absolute error instead of squared error? What about the oth
https://www.quora.com/How-would-a-model-change-if-we-minimized-absolute-error-instead-of-squared-error-What-about-the-other-way-aroundMinimizing the squared error (L2L2) over a set of numbers转载 2016-08-16 15:54:01 · 556 阅读 · 0 评论 -
深度学习主机攒机小记
http://www.52nlp.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%BB%E6%9C%BA%E6%94%92%E6%9C%BA%E5%B0%8F%E8%AE%B0#rd?sukey=3997c0719f1515201eb94ed2673e1d2690f90d1de927d1b322c4bc483108686ac518bbf5dc34ee16转载 2016-07-05 11:52:52 · 1653 阅读 · 0 评论 -
给公司的电脑配置theano
anaconda安装的pythonpip install theano安装theano输入import theano遇到warning提示没有找到g++conda install mingw输入import theano遇到报错屏幕爆炸,其中提示Problem occurred during compilation with the command line below:D:\原创 2016-07-05 11:44:22 · 494 阅读 · 0 评论 -
anaconda windows theano keras 完全安装教程,没有gpu忽略那段话也成功了
http://datanoord.com/2016/02/01/setup-a-deep-learning-environment-on-windows-theano-keras-with-gpu-enabled/转载 2016-04-08 17:15:38 · 1872 阅读 · 0 评论 -
nnlm代码解读链接
http://blog.csdn.net/a635661820/article/details/44730507转载 2015-09-24 13:20:39 · 1212 阅读 · 0 评论 -
nnlm 中的 Softmax
原本是用来柔化输出值,减小值之间的差。p[i]=exp(y[i]);S是所有p[i]的和;但是当我们需要 L=p[i]/S,而全体p[i]都是0,就会报错,所以实际中我们采用的是:p[i]=exp(y[i]-max_y_i);用来归一化p[i]到0~1之间. 论文在此:http://www.jmlr.org/papers/volume3/bengio03a/bengi原创 2015-09-03 19:34:01 · 443 阅读 · 0 评论 -
《How to Generate a Good Word Embedding?》导读(转)
http://licstar.net/archives/620《How to Generate a Good Word Embedding?》导读Posted on 2015 年 7 月 21 日by licstar 自认为这是一篇有用的文章,因此在发表之前先放到 arXiv 上,供大家参考,请批评指正。 论文地址:http://arxiv.org/abs/15转载 2015-09-01 19:53:38 · 573 阅读 · 0 评论 -
迄今为止我所见过的将BP算法最好的PPT
http://www.cedar.buffalo.edu/~srihari/CSE574/Chap5/Chap5.3-BackProp.pdf原创 2015-09-03 00:56:40 · 2328 阅读 · 0 评论 -
超棒的一遍综述性博客
原文: http://licstar.net/archives/328Deep Learning in NLP (一)词向量和语言模型Posted on 2013 年 7 月 29 日by licstar 这篇博客是我看了半年的论文后,自己对 Deep Learning 在 NLP 领域中应用的理解和总结,在此分享。其中必然有局限性,欢迎各种交流,随便拍。 De转载 2015-09-01 19:38:57 · 3003 阅读 · 0 评论 -
Deep learning 学习开篇
http://www.cnblogs.com/JackOne/archive/2013/02/19/DeepLearning-FirstBoold.htmlreading list: http://deeplearning.net/reading-list/原创 2015-08-26 13:07:44 · 420 阅读 · 0 评论