深度学习
nlite827109223
这个作者很懒,什么都没留下…
展开
-
keras gpu占用
import tensorflow as tffrom keras.backend.tensorflow_backend import set_sessionconfig = tf.ConfigProto()config.gpu_options.per_process_gpu_memory_fraction = 0.3set_session(tf.Session(config=config...原创 2020-01-09 21:09:11 · 402 阅读 · 0 评论 -
pytorch 模型不在类的 __init__()函数中定义,且该函数中无可学习的参数
如这种形式,反卷积方法在conv1d_transpose中定义,在训练的时候,model.parameters()会为空,在__init__()中加一部分带参数的方法即可;报的错为:raise ValueError("optimizer got an empty parameter list") ValueError: optimizer got an empty parameter l...原创 2019-12-11 19:48:38 · 1247 阅读 · 2 评论 -
记录pytorch floattensor与cuda.floattensor的类型不一致的问题
1. 一般报这个错,是因为使用gpu,但是数据类型为转换,使用data.to(device)即可,device是device = torch.device("cuda:0" if cuda_used==1 and torch.cuda.is_available() else 'cpu')2. 我这里是因为定义模型的时候,有部分模型定义在 def __init__(self)的外部,虽然使用...原创 2019-12-01 20:12:05 · 1485 阅读 · 0 评论 -
pytorch nll loss(多类)
1.neg_log_likelihood = F.nll_loss(Y_prob, Y, weight=weight) input, target 位置不要弄反,多类nll loss可以把实数编码转为one hot编码,此处不需要转换2. torch.LongTensor(Y), 数据类型此处两个错误自己易犯的,不容易察觉...原创 2019-03-06 14:31:01 · 1283 阅读 · 0 评论 -
pytorch 测试时候显存溢出
cuda out of memory解决方法:http://www.cnblogs.com/Charlene-HRI/p/10234656.html我的问题时在测试时候需要保存每次的输出中间向量,忘记转为 cpu().numpy(),导致显存累积,越来越大,最终溢出...转载 2019-05-05 15:38:49 · 4316 阅读 · 0 评论 -
pytorch 反卷积
1. condtranspose2dimport torchfrom torch import nnfrom torch.nn import initfrom torch.autograd import Variableimport torchvisiondconv = nn.ConvTranspose2d(in_channels=1, out_channels= 1, kern...转载 2019-05-30 11:35:35 · 901 阅读 · 0 评论 -
python 自己实现绘制roc曲线
1. auc 的意义及计算公式https://blog.csdn.net/qq_22238533/article/details/786664362. roc的绘制代码def roc_draw(predict, ground_truth): nums = len(predict) x, y = 1, 1 index = np.argsort...转载 2019-05-27 23:06:55 · 7010 阅读 · 0 评论 -
相对熵--kl散度的一些理解
1. 数学原理介绍https://www.jianshu.com/p/7b7c0777f74d 参考该链接,讲解很清楚,衡量两个分布信息熵的差异2. 缺陷https://blog.csdn.net/omnispace/article/details/54942668分布不重叠,距离计算不对称...转载 2019-06-20 11:36:03 · 355 阅读 · 0 评论 -
线上线下样本分布不一致的判断与处理方式
1. 训练,验证,测试样本划分方式,在吴恩达的课程中有介绍到https://blog.csdn.net/u013555719/article/details/78452053尤其是验证与测试,需要根据机器学习系统的目的设置,文中举了猫狗识别系统的例子,目标是识别手机端用户拍摄的猫狗图像,而训练样本有少量的手机拍摄图(因为系统才开始设计,数据少),大部分是网络中找到的猫狗图像;而...原创 2019-07-24 23:10:42 · 1520 阅读 · 0 评论 -
python 计算iou
参考:https://blog.csdn.net/sinat_34474705/article/details/80045294def caliou(im1, im2): x11, y11, x12, y12 = im1[0], im1[1], im1[2], im1[3] x21, y21, x22, y22 = im2[0], im2[1], im2[2], i...原创 2019-08-26 13:35:50 · 405 阅读 · 0 评论 -
pytorch 类型不匹配问题
https://blog.csdn.net/hustchenze/article/details/79154139这篇博客写的比较全,特此记录,尤其是 a1.type_as(a2)转载 2018-12-24 15:26:32 · 274 阅读 · 0 评论 -
pytorch 与tensorflow 的条件判断应用
https://fgc.stpi.narl.org.tw/activity/videoDetail/4b1141305d9cd231015d9d0992ef0030tensorflow中使用tf.cond()实现条件判断,pytorch直接使用if判断转载 2018-12-26 15:32:10 · 1403 阅读 · 0 评论 -
Ubuntu 编译安装faster rcnn(matlab)
1. github下载完整的faster rcnn:https://github.com/ShaoqingRen/faster_rcnn2. cudn,caffe等都是安装好的,师兄装的3. 拷贝caffe的MakeFile.config文件到external/caffe下4. make -j85. make matcaffe 上述为基本步骤,一下为出现的问题:原创 2017-08-04 17:54:09 · 403 阅读 · 0 评论 -
py-faster-rcnn配置过程(ubuntu)
1. github下载和make过程按照网上教程即可,use_cudnn= 1处容易出问题,按照网上的原因是因为系统的gpu版本,cudn版本和caffe的版本的问题,没有解决2. matlab配置好了,但一运行就崩溃(matlab r2013)3. *.caffemodel文件没有下载到,即*.sh文件运行之后没有下载到已经训练好的模型4. 运行demo的时候因为画框的阈值原创 2017-08-06 09:54:34 · 458 阅读 · 0 评论 -
kera tensorflow只使用cpu训练
原因是在gpu下超出显存,不得已在cpu下训练模型该链接中有,点击打开链接import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "-1"要在import keras之前加上上述代码...转载 2018-04-07 19:45:11 · 2576 阅读 · 1 评论 -
keras DCGAN mnist数据
1. keras 的 mnist.load_data() 因为网页连接无法使用,数据无法下载可以从mnist网站上直接下载nist.pkl.gz文件,然后再 处理import pickleimport gzipdef load_data(): with gzip.open('mnist/mnist.pkl.gz','rb') as fp: training_data...原创 2018-05-05 16:44:52 · 746 阅读 · 0 评论 -
keras 导入已经下载的预训练模型
windows下 ,users目录下,找到./keras/models 放在该文件夹下即可或者搭建好相应的模型结构,比如inception v3,在使用load_weights函数load_model无法直接导入模型,可能跟配置文件有关...原创 2018-05-12 12:52:20 · 4338 阅读 · 2 评论 -
pytorch cuda.FloatTensor->FloatTensor
错误类型:RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) 定义残差块时定义在model的外面,在使用gpu进行训练的时候,残差块的参数是torch.FloatTensor类型,虽然使用了model.cuda(),但是只对model里面的参数在g...原创 2018-12-05 10:57:11 · 2914 阅读 · 0 评论 -
pytorch cpu调用gpu训练模型
参考:https://blog.csdn.net/dcrmg/article/details/79503978 model = torch.load('../model/model-new4.pkl', map_location=lambda storage, loc: storage)转载 2018-12-05 12:01:27 · 1600 阅读 · 0 评论 -
git clone tensorflow
报错:git@github.com: Permission denied (publickey).fatal: Could not read from remote repository.Please make sure you have the correct access rightsand the repository exists. 配置SSH key,并添加到githu...转载 2018-12-07 10:31:37 · 645 阅读 · 0 评论 -
gpu 显存占用 与 volatile gpu-util (gpu利用率)
1. https://github.com/tensorflow/tensorflow/issues/5432. http://caffecn.cn/?/question/1861 gpu占用高,不表示利用率高,tensorflow不设置gpu占用多少的情况下,会默认占满gpu 要是需要同时跑几个gpu程序,可以设置tensorflow的最大gpu显存占用,不要设置根据需要增加...原创 2018-12-07 11:10:51 · 42306 阅读 · 0 评论 -
faster rcnn caffe安装
Win7 matlab caffe faster rcnn配置:1. 环境安装,已装好,问题是需要对caffe进行编译,使用师姐训练好的caffe-cuda82. faster-rcnn-build.m文件,修改vs路径和默认库冲突两个部分3. 添加目录包含4. 测试 第2条中链接有:http://blog.csdn.net/dzkd1768/article/detai原创 2017-08-02 17:04:58 · 311 阅读 · 0 评论