深度学习
文章平均质量分 92
Blateyang
硕士毕业于华南理工大学,目前主要从事Web开发方面的工作,平时很少看留言,有事请私信
展开
-
《TensorFlow实战》作者黄文坚谈TensorFlow前的几个主要深度学习框架比较
在使用TensorFlow之前,早期主要有Theano、Keras、Caffe、Torch等这几个开源框架。原创 2017-04-09 16:19:34 · 1395 阅读 · 0 评论 -
Detectron研读和实践四:用Mask R-CNN进行服饰关键点定位
前段时间参加了阿里天池的FashionAI服饰关键点定位比赛,为了做比赛,博主尝试用Detectron里面的Mask R-CNN去做关键点定位,取得了一定效果,也算是对Detectron的一些实践,特此做一些记录,希望对需要的朋友有所帮助。原创 2018-04-22 20:30:51 · 7387 阅读 · 26 评论 -
caffe2学习笔记二:利用numpy数组格式图像数据集生成lmdb格式图像数据集
想用caffe2训练网络,首先要做的就是生成caffe/caffe2使用的数据集格式,常用的是lmdb格式。lmdb 是Lightning Memory-Mapped Database的缩写。 从名字可以看出来这种格式比较轻量化,采用的是一种key-value对的存储方式,LMDB示例文件包含一个数据文件data.mdb和一个锁文件lock.mdb,关于它的详细介绍可以搜wiki,用python和...原创 2018-04-25 09:07:56 · 1182 阅读 · 0 评论 -
Xavier初始化方法简要笔记
Xavier[发音 ‘zeɪvɪr]初始化方法是深度学习中比较常用和有效的一种权重初始化方法,其名字是以其发明者命名的。 它的基本设计原则是为了使网络中的信息更好地流动,网络各层激活值及状态梯度的方差应尽量保持不变。 根据一些前提假设以及概率统计公式推导出满足上述设计原则的权重W应服从 又由于实际当中输入、输出的个数n往往不相等,为了综合考虑,将W的方差初始化为 当W用对称区间的均匀分...原创 2018-05-02 21:04:54 · 3194 阅读 · 0 评论 -
#目标检测#对R-FCN网络以及position-sensitive score map的理解
引言R-FCN网络是Faster R-CNN之后又一个比较著名的基于Region Proposal的目标检测网络,它可以达到与Faster R-CNN相近的mAP,且速度要快好几倍。 R-FCN论文原文:R-fcn: Object detection via region-based fully convolutional networks R-FCN论文译文:基于R-FCN的物体检测——原创 2017-12-02 21:22:07 · 5953 阅读 · 3 评论 -
CS231n课程笔记Optimization Note翻译
原文链接:https://zhuanlan.zhihu.com/p/21360434?refer=intelligentunit译者注:本文智能单元首发,译自斯坦福CS231n课程笔记Optimization Note,课程教师Andrej Karpathy授权翻译。本篇教程由杜客翻译完成,李艺颖和堃堃进行校对修改。译文含公式和代码,建议PC端阅读。译者注:本文智能单元首发,译自斯坦福CS2...转载 2018-05-21 18:27:01 · 435 阅读 · 0 评论 -
将用LabelImg标注得到的VOC格式数据集标签(xml文件)转换成COCO格式(json文件)
写在前面的话: 制作数据集和处理数据看似是体力活,但对于机器学习和深度学习应用而言是非常重要的,千万不能掉以轻心,要认真对待,及时检查。如果数据有问题或者没处理好,再好的模型也无济于事。自从Facebook开源了Detectron目标检测框架后,很多原先用VOC格式数据集(指标注文件)训练目标检测模型的人需要将VOC格式的xml标注文件转换成COCO格式的json标注文件,但Detect...原创 2018-06-11 21:26:29 · 18011 阅读 · 14 评论 -
分享一个关于介绍TextCNN和TextRNN的文章
关于理解TextCNN的两幅比较好的图 详细过程和原理 其中作为输入的词嵌入矩阵通常可以通过两种方法得到:static的方法和non-static的方法。 static的方法就是直接用word2vec训练好的词向量构成词嵌入矩阵,且后面训练的时候不对其进行更新;而non-static的方法是随机初始化词嵌入矩阵,再在后面训练的时候对其进行更新。还有一种更常用的是用word2vec训练...转载 2018-08-29 15:26:48 · 2787 阅读 · 0 评论 -
关于CNN中感受野的理解和计算方法
1.感受野的理解CNN中的感受野是CNN中的一个很重要的概念,关于其解释网上有许多版本,如The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by).在卷积神经网络中,感受野的定义是 ...原创 2018-09-13 10:14:26 · 1657 阅读 · 2 评论 -
对几种常见卷积的简单理解
看了一些关于CNN中常见卷积方法的介绍,简单做一些笔记,详细介绍可参考文末的链接。深度可分离卷积(Depthwise separable convolution)思想:先逐通道地(depthwise)对输入数据体空间域做卷积,再沿着通道方向做1*1卷积进行通道融合好处:将通道和空间区域进行解耦分离;有效降低参数量(e.g 卷积权重参数k*k*Ci*Co->k*k*Ci+1*1*...原创 2018-11-29 22:55:59 · 1801 阅读 · 0 评论 -
Detectron研读和实践三:用faster_rcnn_R-50-FPN训练PASCAL VOC数据集
该系列上一篇博客介绍了Detectron的getting started例子faster_rcnn_R-50-FPN的一些源码分析,这次来实践一下,用faster_rcnn_R-50-FPN模型训练PASCAL VOC数据集。平台和环境:Ubuntu16.04+GTX1080ti+CUDA 8.0+cudnn5.11 为Detectron准备PASCAL VOC数据集1.1 下...原创 2018-04-04 12:25:14 · 5613 阅读 · 8 评论 -
caffe2转换DenseNet-Caffe的权值文件时报错“has no field named ceil_mode”
原因分析出现该错误的原因是DenseNet-Caffe中用到了ceil_mode操作,由于master版本的caffe中并不支持该操作,而Caffe2中的caffe.proto文件又是直接从caffe-master中拷贝过来的,故产生了该错误。解决方法该错误在caffe中也会遇到,在caffe中的解决办法是修改源码,然后重新编译caffe。具体可以参考这篇博客。但caffe2中貌似...原创 2018-03-20 13:36:28 · 1334 阅读 · 4 评论 -
Detectron研读和实践二:getting _started例子faster_rcnn_R-50-FPN
版权声明:本文为博主原创文章,未经博主允许不得转载。 关于Detectron的介绍可以参看我的上一篇博客。此篇博客主要是对Detectron的getting_started例子faster_rcnn_R-50-FPN模型的相关代码进行分析。1.相关原理简介该模型主要涉及两个网络模块:基于ResNet50的FPN特征提取网络和Faster R-CNN目标检测网络。实际上,该模型是对F...原创 2018-02-18 17:59:08 · 6568 阅读 · 10 评论 -
softmax与cross-entropy loss
简单介绍了softmax和cross-entropy loss以及它们之间的关系转载 2017-04-30 09:43:08 · 4660 阅读 · 0 评论 -
Ubuntu 16.04 下keras安装和mnist测试
keras安装主要参考keras中文文档中keras安装和配置指南http://keras-cn.readthedocs.io/en/latest/for_beginners/keras_linux/keras安装好后backend默认使用的是TensorFlow,要切换为theano的话,要修改.keras文件中的keras.json配置文件。原创 2017-04-09 17:00:02 · 9204 阅读 · 3 评论 -
多类别SVM损失和交叉熵损失比较
多类别SVM损失和交叉熵损失是机器学习中两种常用的损失函数,为了加深自己对它们的理解也便于以后回顾,下面以表格的形式从它们的主要思想、计算公式以及对应的分类器三个方面进行对比。原创 2017-12-10 21:44:56 · 2002 阅读 · 0 评论 -
#Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNet
转载自博客园:#Deep Learning回顾#之LeNet、AlexNet、GoogLeNet、VGG、ResNetCNN的发展史转载 2017-12-02 15:21:42 · 375 阅读 · 0 评论 -
反向传播算法理解与记录
反向传播(Backpropagation,BP)是用于最小化多层神经网络或深度神经网络中代价函数的神经网络术语。最小化代价函数通常使用梯度下降(gradient descend),而反向传播算法则是神经网络中有效计算输出关于网络各层参数梯度的一种基于链式求导法则的算法。原创 2017-12-29 15:39:22 · 553 阅读 · 0 评论 -
关于深度学习中的Batch normalization的理解
批规范化(Batch normalization)是深度学习中经常见到的一种训练trick,指在采用梯度下降法训练DNN时,对网络层中每个mini-batch的数据进行归一化,使其均值变为0,方差变为1,其主要作用是缓解DNN训练中的梯度消失/爆炸现象,加快模型的训练速度。 下面是作者原论文中的算法介绍: 关于BN的两点理解: 1.为什么它能缓解DNN训练中的梯度消失/爆炸现象? 关于原创 2018-01-18 23:07:12 · 8097 阅读 · 0 评论 -
利用Keras使用非常少的数据建立强大的图像分类模型
博客原文在本教程中,我们将介绍一些简单而有效的方法,您可以使用这些方法来构建强大的图像分类器,仅使用极少数的训练实例 - 只需从您想要识别的每个类别中挑选几百或几千张图片即可。我们将会涵盖以下内容:从零开始训练一个小网络(作为基准)使用预训练网络的bottleneck features微调预训练模型的顶层翻译 2018-01-27 21:44:29 · 10918 阅读 · 8 评论 -
py-faster-rcnn 安装、测试和训练自己的数据
系统环境:Ubuntu16.04+CUDA8.0+Cudnn5.1py-faster-rcnn安装和测试参考这篇博客Ubuntu16.04+GT720M + Cuda8.0+py-faster-rcnn(caffe) 注:没有使用Cudnn用py-faster-rcnn训练自己的数据参考这篇博客 Faster-RCNN+ZF用自己的数据集训练模型(Python版本)原创 2018-01-11 17:13:02 · 816 阅读 · 0 评论 -
Detectron研读和实践一:detectron框架概览
引言Detectron是Facebook AI研究院(FAIR)于2018年初公开的目前为止业内最佳水平的目标检测平台。据介绍,该项目自 2016 年 7 月启动,构建于 Caffe2 之上,目前支持大量机器学习算法,其中包括 Mask R-CNN(何恺明的研究,ICCV 2017 最佳论文)和 Focal Loss for Dense Object Detection,(ICCV 2017 ...原创 2018-02-16 18:34:21 · 9548 阅读 · 1 评论 -
caffe2学习笔记一:图像预处理
Facebook的caffe2是caffe的升级版,相较于caffe的主要不同是将layer替换成了更为强大灵活的operator以及添加了类似matlab中的工作区概念的workspace,基本数据结构blob和net保持不变。关于caffe2的教程,英语好的人可以看官方教程,英语不好的朋友可以看caffe2教程入门(python版),也是基于官方教程整理出来的,整理的也比较好。下面是我对“...原创 2018-02-04 14:18:16 · 2620 阅读 · 0 评论