Python基础知识
qq_28935065
仰望星空,脚踏实地
展开
-
pytorch 模型训练的多GPU训练
pytorch针对多GPU训练提供了两个类来实现多GPU训练,分别是torch.nn.DataParallel和torch.nn.DataParallel相对比较简单,因此先介绍torch.nn.DataParallel。当使用torch.nn.DataParallel的时候,数据会分配到各个GPU中,完成前向计算,然后再汇总到主卡计算loss,进行反向传播。显然,这种方式会使得多个GPU之间负载不均衡。torch.nn.DataParallel具体的使用方法注意device_ids 为指定需要训练的原创 2022-06-27 14:29:44 · 1194 阅读 · 0 评论 -
如何解决RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu
像这种情况,一般就是数据和模型一个在cpu,一个在GPU,或者用于计算的数据,有一些已经放到GPU里,有一些还存在CPU中,这里提供一个思路。首先找到报错的行,看看计算时都用到哪些变量或者数据,然后使用.is_cuda这个属性去查看到底哪些是在GPU上,哪些是在CPU上,然后把它们统一都放在CPU,或者统一放在GPU上就可以。举个例子:...原创 2021-07-22 19:48:46 · 32728 阅读 · 16 评论 -
python数据持久存储:pickle模块的基本使用
python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。 基本接口: pickle.dump(obj, file, [,protocol]) 注解:将对象obj保存到文件file中去。 protoc转载 2017-08-28 10:08:21 · 226 阅读 · 0 评论 -
机器学习中模型持久化
当数据量比较大的时候,我们将数据放入到模型中训练是一件比较耗时的事情。我们想看训练的结果需要而又不想重新训练的时候,我们可以将训练好的模型持久化到文件中,这样可以随时查看模型训练的结果并使用训练好的模型。下面将介绍模型持久化到文件的方法:Method 1: pickle#持久化模型Import picklewith open(“./model.pkl”,”wb”) as f: ...原创 2018-09-28 21:48:28 · 561 阅读 · 0 评论 -
保存和加载模型
在训练模型过程中,由于数据集较大,模型训练迭代次数较多等原因,使得模型训练较耗时,因此将训练好的模型进行保存以便下次直接使用是很有必要,下面介绍两种模型的保存和加载方法1.使用pickle模块 (1)保存模型 with open(“模型保存的位置”,“wb”)as f: pickle.dump(model,f) 或者 ...原创 2018-11-11 15:42:06 · 291 阅读 · 0 评论 -
睿智合创(北京)科技有限公司数据分析笔试——部分笔试题(附答案)
1.删除重复数据import pandas as pdframe=pd.DataFrame({"C1":['one','two']*2+['two'],"C2":[1,1,2,3,3]})dele_dup=frame.drop_duplicates()frame..drop_duplicates(inpalce=True)注:主要考察DataFrame的drop_d...原创 2018-11-19 21:38:43 · 5770 阅读 · 0 评论 -
json.dump()或者json.dumps()无法序列化,报xxx is not JSON serializable的解决方案
1.创建一个类来继承json.JSONEncoder,重写json.JSONEncoder中的方法,即自定义序列化方法class NpEncoder(json.JSONEncoder): def default(self, obj): if isinstance(obj, np.integer): return int(obj) ...转载 2019-05-16 16:11:03 · 2816 阅读 · 0 评论 -
在keras中使用交叉验证或者网格搜索踩的坑
在keras中提供了sklearn的API:from keras.wrappers.scikit_learn import KerasClassifier,这个是分类的,也有回归的,具体的使用方法1.create_model。即创建自己的模型,在keras中自己根据需要搭模型,例如 def create_model(self): """ :retur...原创 2019-05-26 01:53:35 · 3096 阅读 · 0 评论