- 博客(12)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 validation accuracy vs train accuracy
训练时validation accuracy和train accuracy之间没有差距，本义为这是一个还不错的曲线，但是今天讨论时有人评论说这种情况说明网络参数不足，因为在参数充足的情况下多多少少会有过拟和，所以正常情况下train accuracy会高于validiation accuracy，似乎很有道理！...
2018-11-18 23:00:08
5802
原创 softmax_loss梯度推导
softmax_loss的真正名字应该是softmax cross entropy loss。因为softmax的定义是f(zi)=softmax(zi)=ezi∑jezjf(z_i)=softmax(z_i)=\frac{e^{z_i}}{\sum_je^{z_j}}f(zi)=softmax(zi)=∑jezjezi， softmax loss的定义是L=−1N∑i=0NLi=...
2018-11-18 02:54:50
1084
原创 faster R-CNN 生成anchor box
以下代码来自faster R-CNN的generate_anchors.py，目的是基于预定的base_box（正方形），生成若干长宽比和尺度的新的anchor box。其中_whctrs（）是把一个矩形用(中心点，宽高）的形式表达_mkanchors（）是给定一个中心点，和若干不同的宽高，生成新的anchor，以（左上点，右下点）的形式_ratio_enum() 输入一个初始anchor...
2018-11-16 00:25:37
614
原创 yolov3 中box坐标的处理
yolov2吸收faster rcnn的anchor box机制时遇到训练不稳定的问题，分析认为是bbox坐标回归时没有限制，导致anchor box可能会去预测一个距离很远的object，效率不高，因此yolov2对bbox的坐标进行一系列的处理，令anchor box只会对邻近的object负责。阅读论文和代码时难以理解这个机制，以下是个人的一些分析，不保证正确，欢迎讨论指正。公式中(tx...
2018-11-15 00:46:26
12419
原创 shuffleNetV2
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture DesignWhyResNet，DenseNet等网络已经把分类问题的精度推到一个很高的水平，而很多轻量级网络MobleNet， XceptionNet和ShuffleNet则在不牺牲太多精度的前提下，降低网络计算量，令深度学习网络可以运行在一些资源受限的平台上...
2018-11-11 20:48:24
1358
原创 darknet yolov3 训练自定义数据集
VOC数据集上的训练步骤修改类别yolo层的classes修改成新的类别书yolo层前一个convolution层的filters修改成(classes+4+1)*3
2018-11-10 22:03:50
1140
原创 强化学习的一点理解
从可用作输入的信息多少的角度，可以把机器学习划分成三个类别：无监督学习：包括降维和聚类任务，几乎任何东西都可以当作输入，但输出往往很模糊。有监督学习：包括分类和回归任务，因为需要人工标注，可以当作输入的信息要少很多强化学习：和前面两类不同，强化学习适合做的是行为控制。其能够接触到的信息最少，甚至算法要通过和环境交互才能获得更多信息。有监督学习是目前实用性最强的方法，但是无监督学习和强化学...
2018-11-08 00:49:04
497
原创 经典网络结构之InceptionNet
InceptionNet又称googleNet，最初的设计思路是增加网络宽度：InceptionNet核心结构包括多个分支，分别对应不同的感受野。大的感受野适用大的目标，小的感受野适用小目标，如此网络具备了scale不变性。不同感受野最终通过concat合并在一起，为了避免通道数爆炸，在每个分支上引入1x1卷积降低通道数目。Inception V2吸收了VGG的优点，利用多个小尺度卷积代替一...
2018-11-07 00:06:42
2773
原创 解决样本不均衡问题-SMOTE
原文链接SMOTE: Synthetic Minority Over-sampling Technique解决的问题很多算法都有一个默认的假设：样本中各个类别的样本数目是均衡的，比如深度学习中几个经典网络结构直接用于不均衡数据效果会很差。本文提出的SMOTE是一种通过线性插值过采样的方法解决不均衡问题的方法。如果通过简单复制样本没有获得期望结果时，不妨试试这个方法。伪码输入:同一类别的所...
2018-11-05 21:57:52
3217
原创 训练一次得到多个模型做集成的方法
参考论文SNAPSHOT ENSEMBLES: TRAIN 1, GET M FOR FREE解决的问题多个分类器集成可以获得超过单个分类器的效果，但集成分类器就要求有多个分类器，在训练速度和测试速度方面不占优势。本文提出的方法可以提高集成学习的训练速度，通过一次训练，获得多个分类器，解决了集成学习训练速度慢的问题。解决方法深度学习训练过程中，只有经历足够长的epoch后，test l...
2018-11-04 20:42:57
4440
原创 深度学习和传统机器学习的差别
特征构造是否需要人工构造特征，这应该是深度学习和传统机器学习的最明显的差异。feature engining是传统机器学习中的一个重要组成部分，sift，hog，wavelet等都是解决如何描述数据的问题。深度学习兴起后，feature engining的研究几乎停滞，而end-to-end成为一个新兴的研究方向。传统机器学习中有一个分支：representation learning，研究目...
2018-11-04 01:50:35
19343
1
原创 卷积层的dropout - dropblock
DropBlock: A regularization method for convolutional networksdropout的不足dropout是深度学习中避免过拟合的手段之一，经典网路结构中，dropout都被放到全连接层之后，鲜有放到卷积层之后。这是因为实验证明卷积层后的dropout层对网络泛化能力的改进微乎其微，本文分析了其中的原因：卷积层输出特征图各个元素之间存在很强的相...
2018-11-02 22:41:13
8097
cuda编程 merge sort
2019-01-13
opencv dnn模块调用caffe模型
2018-07-15
用命令提示符调用winrar
2018-07-01
演示c++调用mxnet模型
2018-06-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人