LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks

ECCV-2018 ABSTRACT 虽然权重和激活值的量化是深度神经网络(DNN)压缩的有效方法,并且具有很大的潜力来提高利用位操作的推理速度,但是在量化模型和full precision模型之间的预测精度方面仍然存在明显的差距。为了弥补这个差距,我们提出了对量化的,位操作兼容的DNN及其相关量...

2018-12-09 02:30:35

阅读数 72

评论数 1

TensorFlow和Keras解决数据量过大内存溢出

将上万张图片的路径一次性读到内存中,自己实现一个分批读取函数,在该函数中根据自己的内存情况设置读取图片,只把这一批图片读入内存中,然后交给模型,模型再对这一批图片进行分批训练,因为内存一般大于等于显存,所以内存的批次大小和显存的批次大小通常不相同。 Tensorlow 在input.py里写get...

2018-11-01 10:23:42

阅读数 205

评论数 0

异常检测 Deep One-Class Classification

ICML-2018 参考 - https://www.zhihu.com/question/22365729/answer/115048306 - https://zhuanlan.zhihu.com/p/32784067 - https://blog.csdn.net/qq_33880788/a...

2018-10-23 16:32:34

阅读数 426

评论数 0

Unsupervised Detection of Lesions in Brain MRI using constrained adversarial auto-encoders

Abstract 脑部病变检测磁共振图像(MRI)仍然是一项具有挑战性的任务。最先进的方法主要基于使用大型注释数据集的监督学习。另一方面,即使是非专家,人类在看到一些健康的大脑图像后也可以检测到大多数异常病变。复制这种使用健康大脑结构外观的先前信息来检测病变的能力可以帮助计算机实现人体水平的异常检...

2018-10-12 14:48:45

阅读数 70

评论数 0

Adversarially Learned One-Class Classifier for Novelty Detection

CVPR-2018 Novelty detection 是识别在某些方面与训练观察(目标类别)不同的观察的过程。实际上,Novelty class 在训练期间通常不存在,采样不良或定义不明确。因此,一类分类器可以有效地模拟这些问题。然而,由于来自 Novelty class 的数据不可用,训练端到...

2018-10-12 12:44:47

阅读数 117

评论数 1

TRAINING CONFIDENCE-CALIBRATED CLASSIFIERS FOR DETECTING OUT-OF-DISTRIBUTION SAMPLES

ICLR-2018 ABSTRACT 在许多现实世界的机器学习应用中出现了检测测试样本是否来自分布内(即,分类器的训练分布)或者与其分离的分布不均匀的问题。然而,已知现有技术的深度神经网络在其预测中高度过度自信,即,不区分分布内和分布。最近,为了处理这个问题,已经提出了几种基于阈值的检测器,给出了...

2018-10-10 13:02:00

阅读数 50

评论数 0

DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION

ICLR-2018 摘要 对于多维或高维数据的无监督异常检测在基础机器学习研究和工业应用中都是非常重要的,其密度估计是核心。虽然先前基于维数降低随后密度估计的方法取得了丰硕成果,但它们主要受到模型学习的解耦,其优化目标不一致,并且无法在低维空间中保留基本信息。在本文中,我们提出了深度自动编码高斯混...

2018-10-10 11:21:29

阅读数 249

评论数 1

模型压缩中的低秩分解

因为传统训练好的卷积核存在着低秩特性,因此常用的压缩方法里就会采用低秩分解(SVD)的方法进行压缩,但时这种压缩存在一些不足: 若卷积核不低秩,那压不了呗 即使是低秩的,压缩之后精度受损,需要re-training Low Rank Filters [SqueezeNext] 目的...

2018-09-13 18:52:45

阅读数 567

评论数 0

算法理解

整理一些个人认为比较好的算法理解的文章 DFS和BFS

2018-09-11 23:53:48

阅读数 63

评论数 0

计算机视觉与深度学习算法工程师面试题整理

整理自牛客 在梯度下降法中,为什么梯度的负方向是函数下降最快的方向? 为什么引入Relu呢? softmax,softmax loss和cross entropy bias的作用 推导BP算法 Inverted Dropout BN:Internal Covariate Shift Incep...

2018-09-06 20:37:44

阅读数 1108

评论数 1

A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing

ICCV-2017 摘要 本文提出了一种利用边缘信息的深度神经网络结构,用于处理具有代表性的底层视觉任务,如分层和图像滤波。与在此上下文中应用的大多数其他深度学习策略不同,我们的方法通过估算边缘和仅使用层叠的卷积层重构图像来解决这些具有挑战性的问题,这样就不需要手工制作或应用程序特定的图像...

2018-08-27 14:47:56

阅读数 146

评论数 0

Single Image Reflection Separation with Perceptual Losses

CVPR-2018 摘要 我们提出了一种从单个图像中分离 reflction(镜像)的方法。该方法使用了一个经过训练的全卷积网络,利用低级和高级图像信息进行端到端损失训练。我们的损失函数包括两种感知损失:一种是通过视觉感知网络的特征损失,另一种是 transmission layers 的...

2018-08-23 20:40:10

阅读数 182

评论数 0

Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy

ICLR-2018 摘要 深度学习网络在计算机视觉工作(如图像分类和对象检测)方面取得了最先进的准确性。然而,高性能系统通常涉及具有许多参数的大型模型。一旦训练完成,这些表现最佳的模型的一个挑战性方面就是在资源受限的推理系统上进行部署 - 模型(通常是深度网络或宽网络或两者)都是计算和内存...

2018-07-16 19:33:11

阅读数 191

评论数 0

Model Distillation with Knowledge Transfer in Face Classification, Alignment and Verification

ICLR-2018 摘要 知识蒸馏是模型压缩的潜在解决方案。这个想法是让一个小型学生网络模仿大型教师网络的目标,然后学生网络可以与教师网络竞争。以前的大多数研究都集中在分类任务中的模型蒸馏,他们为学生网络提出了不同的体系结构和初始化。但是,只有分类任务是不够的,并且几乎不考虑其他相关任务,...

2018-07-16 11:57:40

阅读数 151

评论数 0

最新模型压缩技术导向

paper-list 1.Distilling the Knowledge in a Neural Network hiton的经典之作,大体上就是用softmax/t 代替softmax去用大网络学小网络,在mnist等小数据集取得了积极的结果。但是缺乏在imagenet之类的大叔据集的...

2018-07-16 11:03:35

阅读数 196

评论数 0

C++面试 C++ 11 新特性之杂项

类型别名声明 类似typedef,新标准中可以使用using为类型声明一个别名(alias)。 std::cout<<"test using alias:\n"; using HT = double; usin...

2018-04-02 12:43:10

阅读数 211

评论数 0

C++面试 C++ 11 新特性之随机数库

之前,C++中的随机数生成都依赖于一个简单的rand函数。这个函数产生一定范围内的一个均匀随机整数。如果需要其他随机分布或者其他范围的随机数,就需要根据rand函数产生的随机数进行再加工,不过这时,就容易引入非随机性了。 #include<iostream&am...

2018-04-02 12:29:31

阅读数 134

评论数 0

C++面试 C++ 11 新特性之正则表达式

简单用法 先看看如何用C++11中的regex匹配一个电子邮箱地址。 std::cout<<"test regex simple usage:\n"; std::string email_pattern(&...

2018-04-02 12:24:44

阅读数 146

评论数 1

C++ 面试 C++ 11 新特性之 template

function C++提供了很多种可调用对象,例如函数指针、lambda、重载了operator()的对象等。有时我们需要将这些对象统一管理,这时使用如下这种方式是不行的: int add(int i, int j) { return i + j; } struct divide { ...

2018-04-02 12:03:31

阅读数 185

评论数 0

C++ 面试 C++ 11 新特性之右值引用与移动

右值引用 什么是左值,什么是右值,简单说左值可以赋值,右值不可以赋值。以下面代码为例,“ A a = getA();”该语句中a是左值,getA()的返回值是右值。 #include <iostream> class A { public: ...

2018-04-02 11:29:38

阅读数 175

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭