TH_NUM的博客

日常积累

排序:
默认
按更新时间
按访问量

nccl 函数 ncclReduce和ncclAllReduce

下面代码中实现了ncclReduce和ncclAllReduce的例子,以ncclReduce举例(其中把隐藏的ncclAllReduce去掉就可以实现ncclAllREduce): //测试NCCL的reduce #include<stdio.h> ...

2018-07-20 16:10:28

阅读数:1

评论数:0

MPI 函数长度不同的数据分发和聚集 MPI_Scatterv、MPI_Allgatherv

MPI_Scatterv:分发数据 MPI_Allgatherv 不同长度的数据块收集,等价于依次以Comm中的每个进程为根进程调用MPI_Gatherv 或是以任一进程为跟进调用一次普通收集,紧接着再对收集到的数据进行一次广播。 #include <stdio.h&a...

2018-07-20 13:51:11

阅读数:7

评论数:0

pandas常用用法

1.将DataFrame里面的数值提取成list userList=list() userList= userList + df1['userID'].values.tolist() 2 . 构造含有index的dataFrame actData = pd.DataFrame(index...

2018-07-19 17:15:34

阅读数:6

评论数:0

nvidia-nccl 学习

1.ncclResult_t ncclGetUniqueId(ncclUniqueId* uniqueId) 创建一个被初始化函数(ncclCommInitRank)使用的Id。该函数只能被调用一次(在整个分布式计算中只能被一个地方调用),调用后产生的Id需要分发给分布式任务中其他所有的任务,然...

2018-07-18 15:12:47

阅读数:7

评论数:0

cuda 在GPU和CPU之间复制数组

int nDev=2; float** sendbuff = (float**)malloc(nDev * sizeof(float*)); float** recvbuff = (float**)malloc(nDev * sizeof(float*)); cudaStream_t*...

2018-07-18 14:58:28

阅读数:25

评论数:0

使用nccl 编译运行程序,nccl 的lib出错 undefined reference to `ncclCommInitAll'

undefined reference to ncclCommInitAll' undefined reference toncclGetErrorString’ undefined reference to `ncclGroupStart’ 需要加载nccl的动态库: 编译方法: ...

2018-07-17 22:32:22

阅读数:14

评论数:0

error: cuda_runtime.h: No such file or directory 和undefined reference to `cudaSetDevice'

使用cuda的gcc编译错误: error: cuda_runtime.h: No such file or directory 和undefined reference to `cudaSetDevice’。 解决办法,加载cuda 的lib。 gcc singleProcess.cpp ...

2018-07-17 22:29:10

阅读数:9

评论数:0

c++使用mutex为函数上锁

#ifndef HOROVOD_COMMON_H #define HOROVOD_COMMON_H #include<string.h> #include <string> #include&...

2018-07-16 13:17:33

阅读数:15

评论数:0

Fire() 实现运行单个函数

import fire def main(**kwargs): print("begin input...") for k,v in kwargs.items(): print(k,v) print("hel...

2018-07-13 09:39:36

阅读数:9

评论数:0

Pandas Rank进行排序

排序和排名 根据条件对Series对象或DataFrame对象的值排序(sorting)和排名(ranking)是一种重要的内置运算。 first: 对于相同的值按照出现的顺序排名 min: 对于相同的值都取小的排名 max:对于相同的值都取大的排名 import pandas a...

2018-07-11 11:42:35

阅读数:37

评论数:0

re.sub 使用方法

re.sub功能是对于一个输入的字符串,利用正则表达式,来实现字符串替换处理的功能返回处理后的字符串 re.sub共有五个参数 三个必选参数 pattern,repl,string 两个可选参数count,flags pattern,表示正则中的模式字符串 反斜杠加数字(\n)表示对应...

2018-07-11 11:11:46

阅读数:18

评论数:0

python中defaultdict的用法

当使用普通的字典时,用法一般是dict={},添加元素的只需要dict[element] =value即,调用的时候也是如此,dict[element] = xxx,但前提是element字典里,如果不在字典里就会报错。 这时defaultdict就能排上用场了,defaultdict的作用是在...

2018-07-11 10:57:56

阅读数:9

评论数:0

pandas 将多个DataFrame进行groupBy合并

import pandas as pd df = pd.DataFrame({'uid': [1, 2, 3, 4], 'B': [1, 2, 3, 4], 'C': [4,5,6,7]}) df2=pd.DataF...

2018-07-10 20:14:48

阅读数:13

评论数:0

pandas 对group进行聚合

DataFrameGroupBy.agg(arg, *args, **kwargs) 例子: >>> df = pd.DataFrame({'A': [1, 1, 2, 2], ... ...

2018-07-10 20:04:36

阅读数:12

评论数:0

Python RE模块中search()和match()的区别

match()函数只检测RE是不是在string的开始位置匹配, search()会扫描整个string查找匹配; 也就是说match()只有在0位置匹配成功的话才有返回, 如果不是开始位置匹配成功的话,match()就返回none。 例如: print(re.match(‘super’...

2018-07-10 19:53:32

阅读数:9

评论数:0

python类函数__iter__

__iter__:类的迭代器可以使用for循环迭代类 例子: ##使用genism的word2vec import os #import gensim class Mysentences(object): def __init__(self,dirname): s...

2018-07-07 14:41:45

阅读数:34

评论数:0

python OrderedDict使用

很多人认为python中的字典是无序的,因为它是按照hash来存储的,但是python中有个模块collections(英文,收集、集合),里面自带了一个子类 OrderedDict,实现了对字典对象中元素的排序。 使用dict时,Key是无序的。在对dict做迭代时,我们无法确定Key的顺序...

2018-07-05 20:17:03

阅读数:13

评论数:0

将字典保存成json 格式文件

将字典保存成json 格式文件: data = dict(d=[1,2],label2id=[3,4],id2label=[5,6]) import json with open(outfile,'w') as f: json.dump(data,f)

2018-07-03 23:48:31

阅读数:58

评论数:0

tf.contrib.keras.preprocessing.sequence.pad_sequences 将标量数据 转换成numpy ndarray

keras.preprocessing.sequence.pad_sequences(sequences, maxlen=None, dtype=’int32’, padding=’pre’, truncating=’pre’, value=0.) 函数说明: 将长为nb_samples...

2018-07-03 21:50:53

阅读数:34

评论数:0

pytorch sampler对数据进行采样

PyTorch中还单独提供了一个sampler模块,用来对数据进行采样。常用的有随机采样器:RandomSampler,当dataloader的shuffle参数为True时,系统会自动调用这个采样器,实现打乱数据。默认的是采用SequentialSampler,它会按顺序一个一个进行采样。这里介...

2018-07-01 21:32:31

阅读数:51

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭