huangneng0219-CSDN博客

原创 pytorch加载大数据

pytorch加载大数据本文介绍的数据特点：数据量大，无法一次读取到内存中数据存储在csv或者文本文件中(每一行是一个sample，包括feature和label)要求：每次读取一小块数据到内存能够batch 能够shuffle自定义MyDataset，继承torch.utils.data.Dataset，重写__init__(),__len__(),__getit...

2019-05-20 13:33:49 5667 11

原创 ctcdecode安装

ctcdecode安装ctcdecode is CTC(Connectionist Temporal Classification) beam search decoding for Pytorch. pytorch版本1.0原始的github链接为：https://github.com/parlance/ctcdecode.git在国内安装时，由于无法打开谷歌云盘，安装时(boost...

2019-02-25 23:10:18 10215 52

原创 pytorch load huge dataset（大数据加载）

问题最近用pytorch做实验时，遇到加载大量数据的问题。实验数据大小在400Gb，而本身机器的memory只有256Gb，显然无法将数据一次全部load到memory。解决方法首先自定义一个MyDataset继承torch.utils.data.Dataset，然后将MyDataset的对象feed in torch.utils.data.DataLoader()即可。MyDataset在...

2019-02-21 02:56:09 11482 2

原创 driver、cuda、cudnn（GPU安装）

driver、cuda、cudnn（GPU安装）本文介绍一种GPU服务器安装深度学习框架，安装过程总共分为3步：安装显卡驱动安装cuda框架安装cudnn框架显卡驱动安装添加源，sudo add-apt-repository ppa:graphics-drivers/ppasudo apt update检查可安装的驱动版本，ubuntu-drivers devices选择合适的版本进行安装，sudo apt install nvidia-driver-XXX最后reboo

2020-06-22 16:57:26 553

原创 MacOS上好用的app

平时用mac写写代码和文字，自认为一些不错的app，记录下来分享给大家，也防止自己忘了。做笔记：OneNote，与OneDrive同步，多台设备共享写代码：VSCode,Sublime,MacVim,JetBrain系列工具控制台：iTerm2 + zsh omgssh远程：termius, chrome插件Secure Shell Extensionscp文件传输：Filez...

2019-09-03 15:38:26 558

原创 beam search 束搜索多线程实现

在语音识别、机器翻译等问题中，在得到单词或者字符的概率矩阵以后，需要通过deocder产生最有可能的单词序列，而beam search是decoder中常用的一种启发式算法。用multiprocessing实现了一个多线程的束搜索，multithread_bs(data,length,k,worker)输入data的形状是[batch,max_length,char_num]，length为每...

2019-05-30 17:30:31 478

原创 pytorch rnn 变长输入序列问题

pytorch实现变长输入的rnn分类输入数据是长度不固定的序列数据，主要讲解两个部分Data.DataLoader的collate_fn用法，以及按batch进行padding数据pack_padded_sequence和pad_packed_sequence来处理变长序列collate_fnDataloader的collate_fn参数，定义数据处理和合并成batch的方式。由...

2019-04-26 02:35:54 5923

原创 MXNet，卷积以及pooling中的输入输出shape计算

在tensorflow中，padding的取值为"SAME" 和 “VALID”，取SAME时会对输入进行填充，使得输出的高度和宽度与输入保持不变，取VALID时，不进行填充。在MXNet中，padding与tensorflow的形式不一样，padding为取值为整型或者整型的元组，padding的取值与kernel_size有关。下面讲述mxnet中卷积和池化padding的取值Conv2...

2018-09-29 13:22:10 2841

原创 Python3中map对象问题

Python3中map对象问题在python2中，map函数会返回一个list列表，例如：>>>x=map(str,[1,2,3])['1','2','3']在python3中，map函数返回的是一个map对象，例如：>>>x=map(str,[1,2,3])<map at 0x22f40f3a630>在python3中如果想要将这个map对象用列表的方式输出，需要用list()函数进行转换，例

2017-04-15 20:12:02 1436

原创 kmean算法python实现

# -*- coding:utf-8 -*_import numpy as npimport matplotlib.pyplot as pltimport timetime1=time.time()class Data: def __init__(self,vector,set_id): self._vector=vector self._set=

2016-08-03 09:33:32 1211

原创数据挖掘Apriori算法python实现

使用此程序时，将可以自行编写一个输入函数，将你所需要输入的数据存储到DataSource对象中，该对象用的存储结构是python中的字典。#设置最小支持度和最小置信度min_sup=2min_conf=0.5#原始数据class Datasource: def data_set(self,input): self.source=input def sear

2016-07-21 14:13:27 694

原创 FCM压缩算法

序列压缩中基于Markov预测模型的的Finite Context Model源码实现，还未实现位数非常大时的加减乘除运算，更新中…#include "stdio.h"#include "iostream"#include "map"#include <string.h>#define K 5using namespace std;struct dct{ public:

2016-05-22 10:46:44 372