![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
huangneng0219
这个作者很懒,什么都没留下…
展开
-
driver、cuda、cudnn(GPU安装)
driver、cuda、cudnn(GPU安装)本文介绍一种GPU服务器安装深度学习框架,安装过程总共分为3步:安装显卡驱动安装cuda框架安装cudnn框架显卡驱动安装添加源,sudo add-apt-repository ppa:graphics-drivers/ppasudo apt update检查可安装的驱动版本,ubuntu-drivers devices选择合适的版本进行安装,sudo apt install nvidia-driver-XXX最后reboo原创 2020-06-22 16:57:26 · 477 阅读 · 0 评论 -
MXNet,卷积以及pooling中的输入输出shape计算
在tensorflow中,padding的取值为"SAME" 和 “VALID”,取SAME时会对输入进行填充,使得输出的高度和宽度与输入保持不变,取VALID时,不进行填充。在MXNet中,padding与tensorflow的形式不一样,padding为取值为整型或者整型的元组,padding的取值与kernel_size有关。下面讲述mxnet中卷积和池化padding的取值Conv2...原创 2018-09-29 13:22:10 · 2733 阅读 · 0 评论 -
ctcdecode安装
ctcdecode安装ctcdecode is CTC(Connectionist Temporal Classification) beam search decoding for Pytorch. pytorch版本1.0原始的github链接为:https://github.com/parlance/ctcdecode.git在国内安装时,由于无法打开谷歌云盘,安装时(boost...原创 2019-02-25 23:10:18 · 9440 阅读 · 51 评论 -
pytorch load huge dataset(大数据加载)
问题最近用pytorch做实验时,遇到加载大量数据的问题。实验数据大小在400Gb,而本身机器的memory只有256Gb,显然无法将数据一次全部load到memory。解决方法首先自定义一个MyDataset继承torch.utils.data.Dataset,然后将MyDataset的对象feed in torch.utils.data.DataLoader()即可。MyDataset在...原创 2019-02-21 02:56:09 · 10789 阅读 · 2 评论 -
pytorch rnn 变长输入序列问题
pytorch实现变长输入的rnn分类输入数据是长度不固定的序列数据,主要讲解两个部分Data.DataLoader的collate_fn用法,以及按batch进行padding数据pack_padded_sequence和pad_packed_sequence来处理变长序列collate_fnDataloader的collate_fn参数,定义数据处理和合并成batch的方式。由...原创 2019-04-26 02:35:54 · 5763 阅读 · 0 评论 -
pytorch加载大数据
pytorch加载大数据本文介绍的数据特点:数据量大,无法一次读取到内存中 数据存储在csv或者文本文件中(每一行是一个sample,包括feature和label)要求:每次读取一小块数据到内存 能够batch 能够shuffle自定义MyDataset,继承torch.utils.data.Dataset,重写__init__(),__len__(),__getit...原创 2019-05-20 13:33:49 · 5537 阅读 · 11 评论 -
beam search 束搜索多线程实现
在语音识别、机器翻译等问题中,在得到单词或者字符的概率矩阵以后,需要通过deocder产生最有可能的单词序列,而beam search是decoder中常用的一种启发式算法。用multiprocessing实现了一个多线程的束搜索,multithread_bs(data,length,k,worker)输入data的形状是[batch,max_length,char_num],length为每...原创 2019-05-30 17:30:31 · 430 阅读 · 0 评论