- 博客(179)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 什么是Meta Learning？
Meta learning的思想源于人类对自身学习过程的理解。传统机器学习算法在训练过程中需要feed大量的样本，并且当任务发生改变时，模型需要重新训练。然而对于人类来说，我们可以很快的理解新知识，例如会骑自行车的人可以很快上手摩托车，甚至不需要示范。Meta learning要解决的就是学习一个可以快速学习的模型，这就是所谓的’ learning to learn’。传统机器学习无外乎学会分类、...
2020-01-17 14:58:43
7982
原创 通俗理解网络架构搜索（NAS）
什么是NAS我们假设模型必须是一个三层的全连接神经网络（一个输入层、一个隐层、一个输出层），隐层可以有不同的激活函数和节点个数，假设激活函数必须是relu或sigmoid中的一种，而隐节点数必须是10、20、30中的一个，那么我们称这个网络结构的搜索空间就是{relu, sigmoid} * {10, 20 ,30}。在搜索空间中可以组合出6种可能的模型结构，在可枚举的搜索空间内我们可以分别实...
2020-01-15 14:47:11
4696
1
原创 LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks
ECCV-2018ABSTRACT虽然权重和激活值的量化是深度神经网络（DNN）压缩的有效方法，并且具有很大的潜力来提高利用位操作的推理速度，但是在量化模型和full precision模型之间的预测精度方面仍然存在明显的差距。为了弥补这个差距，我们提出了对量化的，位操作兼容的DNN及其相关量化器的联合训练方法，而不是使用固定的手工量化方案，如均匀或对数量化。我们学习量化器的方法适用于任意位精...
2018-12-09 02:30:35
1799
1
原创 TensorFlow和Keras解决数据量过大内存溢出
将上万张图片的路径一次性读到内存中，自己实现一个分批读取函数，在该函数中根据自己的内存情况设置读取图片，只把这一批图片读入内存中，然后交给模型，模型再对这一批图片进行分批训练，因为内存一般大于等于显存，所以内存的批次大小和显存的批次大小通常不相同。Tensorlow在input.py里写get_batch函数。def get_batch(X_train, y_train, img_w, im...
2018-11-01 10:23:42
4867
3
原创 异常检测 Deep One-Class Classification
ICML-2018参考- https://www.zhihu.com/question/22365729/answer/115048306- https://zhuanlan.zhihu.com/p/32784067- https://blog.csdn.net/qq_33880788/article/details/79550723前言OC-SVMSVDD速览经典的AD方...
2018-10-23 16:32:34
10985
2
原创 Unsupervised Detection of Lesions in Brain MRI using constrained adversarial auto-encoders
Abstract脑部病变检测磁共振图像（MRI）仍然是一项具有挑战性的任务。最先进的方法主要基于使用大型注释数据集的监督学习。另一方面，即使是非专家，人类在看到一些健康的大脑图像后也可以检测到大多数异常病变。复制这种使用健康大脑结构外观的先前信息来检测病变的能力可以帮助计算机实现人体水平的异常检测，特别是减少对许多标记实例的需要并且更好地推广先前未见过的病变。为此，我**们通过使用基于自动编码器...
2018-10-12 14:48:45
529
原创 Adversarially Learned One-Class Classifier for Novelty Detection
CVPR-2018Novelty detection 是识别在某些方面与训练观察（目标类别）不同的观察的过程。实际上，Novelty class 在训练期间通常不存在，采样不良或定义不明确。因此，一类分类器可以有效地模拟这些问题。然而，由于来自 Novelty class 的数据不可用，训练端到端深度网络是一项繁琐的任务。在本文中，受到生成对抗网络在无监督和半监督环境中训练深度模型的成功的启发，...
2018-10-12 12:44:47
1694
3
原创 TRAINING CONFIDENCE-CALIBRATED CLASSIFIERS FOR DETECTING OUT-OF-DISTRIBUTION SAMPLES
ICLR-2018ABSTRACT在许多现实世界的机器学习应用中出现了检测测试样本是否来自分布内（即，分类器的训练分布）或者与其分离的分布不均匀的问题。然而，已知现有技术的深度神经网络在其预测中高度过度自信，即，不区分分布内和分布。最近，为了处理这个问题，已经提出了几种基于阈值的检测器，给出了预训练的神经分类器。然而，先前作品的表现在很大程度上取决于如何训练分类器，因为它们只关注改进推理程序。...
2018-10-10 13:02:00
984
原创 DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION
ICLR-2018摘要对于多维或高维数据的无监督异常检测在基础机器学习研究和工业应用中都是非常重要的，其密度估计是核心。虽然先前基于维数降低随后密度估计的方法取得了丰硕成果，但它们主要受到模型学习的解耦，其优化目标不一致，并且无法在低维空间中保留基本信息。在本文中，我们提出了深度自动编码高斯混合模型（DAGMM）用于无监督异常检测。我们的模型利用深度自动编码器为每个输入数据点生成低维表示和...
2018-10-10 11:21:29
4071
2
原创 模型压缩中的低秩分解
因为传统训练好的卷积核存在着低秩特性，因此常用的压缩方法里就会采用低秩分解(SVD)的方法进行压缩，但时这种压缩存在一些不足：若卷积核不低秩，那压不了呗即使是低秩的，压缩之后精度受损，需要re-trainingLow Rank Filters[SqueezeNext]目的：去除冗余，并且减少权值参数方法：采用两个K*1的卷积核替换掉一个K*K的卷积核(decompos...
2018-09-13 18:52:45
7453
原创 计算机视觉与深度学习算法工程师面试题整理
整理自牛客在梯度下降法中，为什么梯度的负方向是函数下降最快的方向？为什么引入Relu呢？softmax，softmax loss和cross entropybias的作用推导BP算法Inverted DropoutBN:Internal Covariate ShiftInception v1 - v4focal losssoftnms...
2018-09-06 20:37:44
9354
1
原创 A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing
ICCV-2017摘要本文提出了一种利用边缘信息的深度神经网络结构，用于处理具有代表性的底层视觉任务，如分层和图像滤波。与在此上下文中应用的大多数其他深度学习策略不同，我们的方法通过估算边缘和仅使用层叠的卷积层重构图像来解决这些具有挑战性的问题，这样就不需要手工制作或应用程序特定的图像处理组件。我们将得到的可转移管道应用于两个对边缘都敏感的问题域，即单个图像反射去除和图像平滑。对于前者...
2018-08-27 14:47:56
1146
原创 Single Image Reflection Separation with Perceptual Losses
CVPR-2018摘要我们提出了一种从单个图像中分离 reflction（镜像）的方法。该方法使用了一个经过训练的全卷积网络，利用低级和高级图像信息进行端到端损失训练。我们的损失函数包括两种感知损失：一种是通过视觉感知网络的特征损失，另一种是 transmission layers 的图像特征编码的对抗性损失。我们还提出了一种新的 exclusion loss，实现像素层级的强制分离。...
2018-08-23 20:40:10
1909
原创 Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy
ICLR-2018摘要深度学习网络在计算机视觉工作（如图像分类和对象检测）方面取得了最先进的准确性。然而，高性能系统通常涉及具有许多参数的大型模型。一旦训练完成，这些表现最佳的模型的一个挑战性方面就是在资源受限的推理系统上进行部署 - 模型（通常是深度网络或宽网络或两者）都是计算和内存密集型的。使用低精度数值和基于知识蒸馏的模型压缩是降低这些部署模型的计算要求和内存占用的常用技术。在本...
2018-07-16 19:33:11
1626
原创 Model Distillation with Knowledge Transfer in Face Classification, Alignment and Verification
ICLR-2018摘要知识蒸馏是模型压缩的潜在解决方案。这个想法是让一个小型学生网络模仿大型教师网络的目标，然后学生网络可以与教师网络竞争。以前的大多数研究都集中在分类任务中的模型蒸馏，他们为学生网络提出了不同的体系结构和初始化。但是，只有分类任务是不够的，并且几乎不考虑其他相关任务，例如回归和检索。为了解决这个问题，本文以人脸识别为切入点，提出了从人脸分类到对齐和验证的知识转移模型。...
2018-07-16 11:57:40
992
原创 最新模型压缩技术导向
paper-list1.Distilling the Knowledge in a Neural Networkhiton的经典之作，大体上就是用softmax/t 代替softmax去用大网络学小网络，在mnist等小数据集取得了积极的结果。但是缺乏在imagenet之类的大叔据集的结果，用来训练的模型也是比较小的2.Mimicking Very Efficient Netw...
2018-07-16 11:03:35
524
原创 C++面试 C++ 11 新特性之杂项
类型别名声明类似typedef，新标准中可以使用using为类型声明一个别名（alias）。std::cout<<"test using alias:\n";using HT = double;using NAME = std::string;HT h = 1.78;NAME name = "Robert";std::cout<<name<<...
2018-04-02 12:43:10
685
原创 C++面试 C++ 11 新特性之随机数库
之前，C++中的随机数生成都依赖于一个简单的rand函数。这个函数产生一定范围内的一个均匀随机整数。如果需要其他随机分布或者其他范围的随机数，就需要根据rand函数产生的随机数进行再加工，不过这时，就容易引入非随机性了。#include<iostream>#include<cstdlib>#include<ctime>using namespace...
2018-04-02 12:29:31
720
原创 C++面试 C++ 11 新特性之正则表达式
简单用法先看看如何用C++11中的regex匹配一个电子邮箱地址。std::cout<<"test regex simple usage:\n";std::string email_pattern("(\\w)+(\\.\\w+)*@(\\w)+((\\.\\w+)+)");try{ std::regex email_regex(email_pattern); ...
2018-04-02 12:24:44
488
原创 C++ 面试 C++ 11 新特性之 template
functionC++提供了很多种可调用对象，例如函数指针、lambda、重载了operator()的对象等。有时我们需要将这些对象统一管理，这时使用如下这种方式是不行的：int add(int i, int j) { return i + j; }struct divide{ int operator()(int i, int j) { retur...
2018-04-02 12:03:31
1440
2
原创 C++ 面试 C++ 11 新特性之右值引用与移动
右值引用什么是左值，什么是右值，简单说左值可以赋值，右值不可以赋值。以下面代码为例，“ A a = getA();”该语句中a是左值，getA()的返回值是右值。#include <iostream>class A{public: A() { std::cout << "Constructor" << std::endl; } ...
2018-04-02 11:29:38
1484
原创 C++面试 C++11 新特性之 Class
sizeof新标准中，sizeof可以直接用于获取Class::member的大小，而不用通过Class的实例。class TestClass{public: int member_i; char member_c;};cout<<"test sizeof class member:\n";cout<<sizeof(TestClass...
2018-04-01 00:30:25
449
原创 C++面试 C++11 新特性之智能指针
shared_ptrshared_ptr 基本用法shared_ptr**采用引用计数的方式管理所指向的对象**。当有一个新的shared_ptr指向同一个对象时（复制shared_ptr等），引用计数加1。当shared_ptr离开作用域时，引用计数减1。当引用计数为0时，释放所管理的内存。这样做的好处在于解放了程序员手动释放内存的压力。之前，为了处理程序中的异常情况，往往需要将指针...
2018-03-31 23:59:09
3967
原创 C++面试 C++11 新特性之容器相关特性
cbegin和cend原来的begin和end返回的iterator是否是常量取决于对应的容器类型，但是有时，即使容器不是常量类型，我们也希望获得一个const_iterator，以避免不必要的修改行为。C++11新标准中提供了cbegin和cend函数，无论容器类型，都固定返回const_iterator。vector<int> c1 = {0, 1, 2, 3, 4};a...
2018-03-31 23:13:34
549
原创 C++面试 C++11 新特性之 lambda
lambda 简介熟悉Python的程序员应该对lambda不陌生。简单来说，lambda就是一个匿名的可调用代码块。在C++11新标准中，lambda具有如下格式：[capture list] (parameter list) -> return type { function body }可以看到，他有四个组成部分：capture list： 捕获列表parame...
2018-03-31 22:47:16
969
原创 C++面试 C++11 新特性之类型推断与类型获取
简单的类型推断 autoC++11新标准中增加了auto类型说明符，可以让编译器帮我们分析表达式的类型。double val1 = 1.1, val2 = 2.2;auto sum = val1 + val2;auto val3 = 0.3, *p = &val3;//auto val4 = 0, val5 = 0.0; // wrong. different types....
2018-03-31 21:48:34
3132
原创 C++面试 C++11新特性之新类型与初始化
新类型unsigned long long / long long类型在C++11中，标准要求long long整型可以在不同平台上有不同的长度，但至少有64位。我们在写常数字面量时，可以使用LL后缀（或是ll）标识一个long long类型的字面量，而ULL（或ull、Ull、uLL）表示一个unsigned long long类型的字面量。 比如：//定义了一个有符号...
2018-03-31 19:30:15
412
原创 C++面试 设计模式之工厂模式
简单工厂模式在创建一个对象时不向客户暴露内部细节；简单工厂不是设计模式，更像是一种编程习惯。它把实例化的操作单独放到一个类中，这个类就成为简单工厂类，让简单工厂类来决定应该用哪个子类来实例化。假设有一个工厂，他能生产出A、B两种产品。当客户需要产品的时候，要告诉工厂是哪种产品，是A还是B。当新增加一种新产品的时候，那么就要去修改工厂的类。// Factory.cpp : 定义控...
2018-03-31 18:05:42
1642
1
原创 C++面试 设计模式之单例模式（C++11）
单例模式确保一个类只有一个实例，并提供了一个全局访问点。单例模式，可以说设计模式中最常应用的一种模式了，据说也是面试官最喜欢的题目。但是如果没有学过设计模式的人，可能不会想到要去应用单例模式，面对单例模式适用的情况，可能会优先考虑使用全局或者静态变量的方式，这样比较简单，也是没学过设计模式的人所能想到的最简单的方式了。一般情况下，我们建立的一些类是属于工具性质的，基本不用存储太多的跟自...
2018-03-31 15:59:44
5127
2
原创 使用TensorFlow实现卷积与反卷积详细过程
卷积操作tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)除去name参数用以指定该操作的name，与方法有关的一共五个参数：input： 指需要做卷积的输入图像，它要求是一个Tensor，具有[batch, in_height, in_width, in_channe...
2018-03-24 15:46:12
5956
2
原创 CTPN/CRNN的OCR自然场景文字识别理解（二）
CRNN1) 端到端可训练（把CNN和RNN联合训练）2) 任意长度的输入（图像宽度任意，单词长度任意）3) 训练集无需有字符的标定4) 带字典和不带字典的库（样本）都可以使用5) 性能好，而且模型小（参数少）网络结构架构包括三部分： 1) 卷积层，从输入图像中提取特征序列； 2) 循环层，预测每一帧的标签分布； 3) 转录层，将每一帧的预测...
2018-03-15 21:33:14
9360
2
原创 ssd 实现 文字识别 Textboxes
改进的SSD的地方：default box的长宽比进行修改（长条形），使其更适合文字检测（单词）作为classifier的卷积滤波器大小从3*3变成1*5，更适合文字检测SSD原来为多类检测问题，现在转为单类检测问题从输入图像为单尺度变为多尺度利用识别来调整检测的结果（text spotting）网络结构整个检测流程就是SSD+NMS，识别流程使用的CRNN。 ...
2018-03-15 21:15:53
2450
原创 从RCNN到Fast-RCNN再到Faster-RCNN
简述RCNN系列：RCNN通过SS算法挑选候选框，然后将这些候选框统一尺寸放入预训练的CNN中，最后通过全连接层提取固定维度的特征向量，将特征向量送入多个SVM分类器，用SVM进行分类（之所以不用softmax是因为微调时需要大量的负样本，如果使用softmax Map会变低，而SVM使用hard negative mining挑选负样本，更具代表性，可以通过负样本更好的修正位置），对分类结果...
2018-03-15 16:48:33
2205
原创 CTPN/CRNN的OCR自然场景文字识别理解（一）
CTPN前言需阅读faster-rcnn相关摘要问题分析文字目标的特殊性，一个很大的先验是，文字总是水平排列的。文字的特征总感觉体现在edge上。自然场景文字检测的难点在于：小目标，遮挡，仿射畸变。本文使用VGG16，只使用conv5，可能对小文字的检测效果不好。文本检测和一般目标检测的不同——文本线是一个sequence（字符、字符的一部分、多字符组成的一个s...
2018-03-15 15:47:05
20699
2
原创 从YOLO到SSD再到YOLO9000（三）
YOLOv2与YOLO9000摘要前篇介绍了基于回归方法的深度学习目标检测方法（YOLO，SSD），本篇将介绍YOLO的升级版YOLOv2，其主要有两个大方面的改进：（1） 使用一系列的方法对YOLO进行了改进，在保持原有速度的同时提升精度得到YOLOv2；（2） 提出了一种目标分类与检测的联合训练方法，通过WordTree来混合检测数据集与识别数据集之中的数据，同时在COCO和Ima...
2018-03-14 17:01:24
2949
原创 从YOLO到SSD再到YOLO9000（二）
SSD摘要基于“Proposal + Classification” 的 Object Detection 的方法，R-CNN 系列（R-CNN、SPPnet、Fast R-CNN 以及 Faster R-CNN），取得了非常好的结果，但是在速度方面离实时效果还比较远在提高 mAP 的同时兼顾速度，逐渐成为 Object Detection 未来的趋势。 YOLO 虽然能够达到实时的效...
2018-03-14 14:55:08
1425
原创 从YOLO到SSD再到YOLO9000（一）
YOLO摘要YOLO之前的物体检测方法主要是通过region proposal产生大量的可能包含待检测物体的 potential bounding box，再用分类器去判断每个 bounding box里是否包含有物体，以及物体所属类别的 probability或者 confidence，如R-CNN,Fast-R-CNN,Faster-R-CNN等。YOLO不同于这些物体检测方法...
2018-03-14 12:36:18
4685
原创 SVM 推导
参考 http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html http://blog.csdn.net/sinat_22594309/article/details/61615946 http://blog.csdn.net/v_july_v/article/details/7624837理解SVM...
2018-02-26 17:18:21
583
原创 基于深度学习的群体目标流量分析
群体目标流量分析大场景下（多摄像机 如正门、偏门）估计进出人数已有方法检测+跟踪过程首先检测人，之后用诸如粒子滤波、KCF等方式跟踪轨迹，判断了通过图像的虚拟线，进而决策缺点检测和跟踪都需要比较稳定，但是在一些密集场合检测是比较困难的，多目标的相互遮挡进行跟踪也是很困难的。线性特征拟合、特征回归缺点特别依赖于模型的学习，当场景换了、人走的速度
2018-02-02 21:51:25
2623
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人