深度学习
文章平均质量分 74
qq_32799915
这个作者很懒,什么都没留下…
展开
-
epoch 含义
(1)batchsize:批大小。在深度学习中,一般采用SGD(随机梯度下降)训练,即每次训练在训练集中取batchsize个样本训练; (2)iteration:使用batchsize个样本训练一次; (3)epoch:使用训练集中的全部样本训练一次;原创 2017-08-14 10:13:46 · 3708 阅读 · 0 评论 -
10折交叉验证
将数据集划分成10个大小相似的互斥子集,轮流将其中一份做为测试集,其余作为训练集,用来检验模型的效果。用十次效果的平均值作为最终结果。防止出现过拟合现象。常用于数据量比较小的时候,使模型的准确率更有说服性。...原创 2018-06-07 15:12:49 · 3718 阅读 · 0 评论 -
loss 为nan???
在训练的过程中经常会出现loss=NaN的情况,在网上查了查一般做法是减小学习速率或者增大batch_size。尝试了一下减小学习速率,可以解决问题。但是不明白为什么。所以整理了一下loss为nan的问题。现在依然不清楚为什么减小学习速率会解决这个问题,请各位不吝赐教。如果一开始loss就为nan, 可以考虑自己的输入是否有问题。参考:https://stackoverflow....原创 2018-06-07 17:27:28 · 26456 阅读 · 2 评论 -
迁移学习Transfer Learning
在迁移学习中,我们已有的知识叫做源域(source domain),要学习的新知识叫目标域(target domain)。迁移学习研究如何把源域的知识迁移到目标域上。特别地,在机器学习领域中,迁移学习研究如何将已有模型应用到新的不同的、但是有一定关联的领域中。(a)传统机器学习对不同的学习任务建立不同的模型,(b)迁移学习利用源域中的数据将知识迁移到目标域,完成模型建立。迁移学习按照学习方式可以分...原创 2018-06-08 16:07:01 · 1460 阅读 · 0 评论 -
keras图像增强
使用keras中的方法对图像进行增强,包括 旋转,裁剪,灰度化,平移,仿射变换from PIL import Imageimport randomfrom keras.preprocessing.image import ( random_rotation, random_shift, random_shear, random_zoom, random_channel_shif...原创 2018-06-15 17:17:35 · 2693 阅读 · 0 评论 -
8种应对机器学习数据集类别不平衡的策略
数据集类别不平衡通常发生在分类问题上,例如有两个类别(A,B)的数据集,A有80个,而B有20个,那么这个数据集是不平衡的。大多数数据集每一个类别通常不是完全的平衡,小的不平衡不会有太大的问题。但是当样本分布差距很大的时候,就会有很大的影响。严重的不平衡会导致训练的模型大概率会输出数量较多的那个类别,使模型具有很强的偏向性。 1.获取更多的数据这是一个最简单直接的办法,但往往数据并不是很容易获...原创 2018-06-21 09:31:11 · 3066 阅读 · 0 评论 -
CAM 和 Grad-CAM 实现
https://bindog.github.io/blog/2018/02/10/model-explanation/推荐这个博客,感觉原理讲的比较清楚。代码: 代码参考链接:https://github.com/jacobgil/keras-grad-cam 对其中有问题的地方进行了更改。from keras.applications.vgg16 import ( V...原创 2018-10-29 11:44:28 · 16042 阅读 · 15 评论 -
Efficient ConvNet for Real-time Semantic Segmentation论文解读
Abstract:real-time :83 FPS in a single Titan X, and at more than 7 FPS in a Jetson TX1 (embedded GPU).a novel layer : uses residual connections and factorized convolutions in order to remain highl...原创 2018-11-14 11:35:07 · 734 阅读 · 0 评论 -
池化层的反向传播
原文:https://blog.csdn.net/qq_21190081/article/details/72871704Pooling池化操作的反向梯度传播CNN网络中另外一个不可导的环节就是Pooling池化操作,因为Pooling操作使得feature map的尺寸变化,假如做2×2的池化,假设那么第l+1层的feature map有16个梯度,那么第l层就会有64个梯度,这使得梯度无法...转载 2019-04-06 15:56:00 · 408 阅读 · 0 评论 -
DeepLearning-500-questions
DeepLearning-500-questions发现了github一个深度学习基础知识点的总结,涵盖挺全的,数学基础,深度学习基础,机器学习基础,分类网络,目标检测,图像分割,迁移学习,强化学习。。。。。。不过有些地方感觉还不是很深入,还在持续的更新中。地址:https://github.com/scutan90/DeepLearning-500-questions...原创 2019-04-01 22:50:08 · 983 阅读 · 0 评论 -
Keras版本的mask-rcnn,如何迁移到windows,c++,tensorflow上?
参考:https://github.com/matterport/Mask_RCNN/issues/1115https://github.com/matterport/Mask_RCNN/issues/222#issuecomment-373130661首先将keras中的模型保存下来,最初想先保存成h5,然后转换成pb,但是一起保存模型和参数有很多问题,然后就在代码中直接保存成pb格式。...原创 2019-04-01 22:56:23 · 1367 阅读 · 9 评论 -
facebook Pytorch mask rcnn训练碰到的问题
1.每次重新开始训练,都要检查last_checkpoint文件代码默认从last_checkpoint 开始训练,因此如果要重新开始训练,加载预训练模型,需要将last_checkpoint 文件删除。2. 维度不匹配问题当分类数量改变之后,会存在当前模型最后的分类层与预训练参数维度不匹配的问题,pytorch不提供选择load参数的接口,解决方法是:从预训练模型中,移除不需要的那些数,包...原创 2019-04-01 22:59:26 · 1209 阅读 · 0 评论 -
图像分割数据集转换成coco数据集的json格式
发现了一个好用的工具:pycococreator工具,GitHub下载链接:https://github.com/waspinator/pycococreator按教程安装按照给定的格式重命名图片名称有一个问题是,如果一张图中有多个类别的目标,需要有多个mask图运行代码路径:/home/user/Downloads/pycococreator/examples/shapes/crac...原创 2019-04-01 23:03:30 · 7295 阅读 · 2 评论 -
THUMOS’14 Action Recognition数据集
THUMOS’14 Action Recognition数据集格式THUMOS’14 Action Recognition数据集下载文件文件格式评价指标THUMOS’14 Action Recognition数据集THUMOS数据集包含大量的人类动作在真实环境中开源视频。 动作包括日常生活动作(例如,“吹干头发”和“刷牙”)对体育动作(例如,“驾驶”和“高尔夫挥杆”)。 在THUMOS’14...原创 2019-04-18 21:17:58 · 13654 阅读 · 9 评论 -
视频动作标注工具coin_annotation_tool
视频动作标注工具coin_annotation_tool2019CVPR 美图和清华大学联合教程类行为数据集 COIN,同时提供了一个视频标注工具:https://github.com/coin-dataset/annotation-tool使用方法:下载项目到本地;打开coin_annotation_tool.html 文件 (我用Safari浏览器打开有问题,Google浏览器没有...原创 2019-04-19 16:55:51 · 3679 阅读 · 2 评论 -
corner-net inference过程
inference1. sigmoid 出左上和右下角点的heatmaptl_heat = torch.sigmoid(tl_heat) br_heat = torch.sigmoid(br_heat)2. 然后进行一个NMS 也就是最大池化tl_heat = _nms(tl_heat, kernel=kernel) br_heat = _nms(br_heat, ke...原创 2019-06-18 14:49:49 · 467 阅读 · 1 评论 -
防止过拟合的方法
过拟合(overfitting)是指在模型参数拟合过程中的问题,由于训练数据包含抽样误差,训练时,复杂的模型将抽样误差也考虑在内,将抽样误差也进行了很好的拟合。具体表现就是最终模型在训练集上效果好,在测试集上效果差,模型泛化能力弱。算法为了满足尽可能复杂的任务,其模型的拟合能力一般远远高于问题复杂度,也就是说,算法有拟合出正确规则的前提下,进一步拟合噪声的能力。那么如何防止过拟合呢?1. 更多的数...转载 2018-06-07 11:31:38 · 634 阅读 · 0 评论 -
TensorFlow 神经风格迁移(二) 实现
接着上一篇博客,这篇为具体实现。基于tensorflow,python2.7 首先构建一个VGG19模型。 import tensorflow as tfimport numpy as npimport settingsimport scipy.ioimport scipy.miscclass Model(object): def __init__...原创 2018-05-30 09:54:19 · 1524 阅读 · 4 评论 -
PASCAL VOC 数据集格式
原文链接:http://blog.csdn.net/zhangjunbob/article/details/52769381以PASCAL VOC2012作为例子下载完之后解压,可以在VOCdevkit目录下的VOC2012中看到如下的文件: 1.JPEGImagesJPEGImages文件夹中包含了PASCAL VOC所提供的所有的图片信息,包括了训练图片和测转载 2017-08-01 14:51:34 · 11557 阅读 · 0 评论 -
windows+anaconda+labelme安装
1.先下载安装anaconda:https://www.anaconda.com/download/选择适合自己Python版本的2.安装好在程序里选择prompt,就相当于windows下的cmd,只不过运行目录直接在anaconda下3.在prompt里依次输入conda create --name=labelme python=2.7(这一步python=*选择自己的Py原创 2018-01-17 09:42:08 · 2107 阅读 · 0 评论 -
LabelImg安装 Windows + Anaconda
LabelImg安装 Windows + Anaconda(与labelme安装类似)1. 先下载安装anaconda:https://www.anaconda.com/download/选择适合自己Python版本的。2. 进入anaconda prompt 创建环境 conda create --name=labelImg python=3.6(这一步python=*原创 2018-01-17 09:45:30 · 7771 阅读 · 0 评论 -
非极大值抑制 NMS
参考链接:http://blog.csdn.net/shuzfan/article/details/52711706 http://blog.csdn.net/pandav5/article/details/50997272 非极大值抑制算法(Non-maximum suppression, NMS)的本质是搜索局部极大值,抑制非极大值元素。其在计算机视觉中...原创 2018-01-26 16:53:37 · 301 阅读 · 0 评论 -
图像语义分割 DeepLab v3+ 训练自己的数据集
环境:ubuntu 16.04 + TensorFlow 1.6.1 + cuda 9.0 + cudnn 7.0 +python2.7 tensorflow 项目链接 https://github.com/tensorflow/models.git下载后解压,所需要的工程在models/research/deeplab/ 目录下1. 测试本地环境首先添加slim路径,每次打开terminal都要...原创 2018-04-24 21:53:15 · 22687 阅读 · 216 评论 -
OOM when allocating tensor with shape[5184,4,4,2048] and type float on /job:localhost/replica:0/task
OOM when allocating tensor with shape[5184,4,4,2048] and type float on /job:localhost/replica:0/task报错原因:GPU内存不够,减小batch,或者减小模型。原创 2018-05-17 18:48:36 · 10679 阅读 · 0 评论 -
TensorFlow 图像风格迁移(一)论文总结
论文:Image Style Transfer Using Convolutional Neural Networks先介绍一下论文的思路。思路图像风格迁移,包括三部分:风格style特征提取(一般是纹理特征),目标图像内容content提取,style+content合成新的图片。这篇论文之前的方法,三个部分分别实现,对于每一种风格,都要单独提取风格特征,没有一个通用的方法。论文思路的提出,基于...原创 2018-05-25 11:27:39 · 7270 阅读 · 1 评论 -
mnist one layer
参考文档http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.htmlimport tensorflow as tfimport tensorflow.examples.tutorials.mnist.input_data as input_data#load datasetmnist=inpu...原创 2018-05-22 11:32:19 · 178 阅读 · 0 评论 -
mnist multi_layer
import tensorflow as tfimport tensorflow.examples.tutorials.mnist.input_data as input_data#定义变量def weight_variable(shape): initial = tf.truncated_normal(shape,stddev=0.1) return tf.Variable(i...原创 2018-05-22 22:11:13 · 171 阅读 · 0 评论 -
tensorflow 优化器
针对上一篇博客中代码使用到的API,做一个简单的总结。初始化变量 tf.Variable常量 tf.constant占位符 tf.placeholdertf.placeholder( dtype, shape=None, name=None)dtype: The type of elements in the tensor to be fed.shape: The ...转载 2018-05-23 20:10:22 · 202 阅读 · 2 评论 -
Tensorflwo API
针对上一篇博客中代码使用到的API,做一个简单的总结。初始化变量 tf.Variable常量 tf.constant占位符 tf.placeholdertf.placeholder( dtype, shape=None, name=None)dtype: The type of elements in the tensor to be fed.shape: The ...原创 2018-05-23 20:23:35 · 233 阅读 · 0 评论 -
深度学习——激活函数
激活函数的作用---提高模型的非线性表达能力。如果没有激活函数,模型只能处理简单的线性问题,所以激活函数是很重要的。激活函数要满足三个基本条件:可微性: 当优化方法是基于梯度的时候,这个性质是必须的。 单调性: 当激活函数是单调的时候,单层网络能够保证是凸函数。 有限性: 当激活函数输出值是 有限 的时候,基于梯度的优化方法会更加 稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是 无...原创 2018-05-23 22:05:14 · 437 阅读 · 0 评论 -
根据BN裁剪模型channel
import sys import caffe ...原创 2019-07-29 22:03:32 · 419 阅读 · 0 评论