Yan_Joy的博客

真正博客: http://yanjoy.win/

CLIP-Q:先剪枝后量化的压缩框架

In-parallel pruning-quantization Clipping. 设置两个截止点标量c−c−c^-和c+c+c^+,用超参数ppp来确定,使正参数中(p×100)%(p×100)%(p \times 100)\%的参数小于c+c+c^+,同时使负参数中(p×100)%(p×...

2018-08-06 15:21:12

阅读数:16

评论数:0

center loss 论文学习

center loss框架从网络的的框架来看,center loss的主要工作是下图中的“Discriminative Features”。 普通的网络框架,在反向传播的过程中,根据类别标签,会将不同的类别划分开。如“Separable Features”所示,一开始两种颜色是混杂的,通过改变网...

2018-02-27 19:59:21

阅读数:213

评论数:0

综述论文:当前深度神经网络模型压缩和加速方法速览

A Survey of Model Compression and Acceleration for Deep Neural Networks 研究背景在神经网络方面,早在上个世纪末,Yann LeCun等人已经使用神经网络成功识别了邮件上的手写邮编。至于深度学习的概念是由Geoffrey Hin...

2017-11-30 08:46:58

阅读数:540

评论数:0

keras tips&problems

写了一下keras的层,出现了一些问题,值得总结一下~Python中对变量是否为None的判断这个问题出在以下代码段:self.mask = np.zeros(shape)if self.mask == None: pass else: pass直接运行会报错,原因在于对于nump...

2017-11-03 17:19:17

阅读数:180

评论数:0

Tensorflow trick 与 细节

前后传播采用不同方式How Can I Define Only the Gradient for a Tensorflow Subgraph? Suppose you want group of ops that behave as f(x) in forward mode, but as g(...

2017-10-15 22:21:29

阅读数:262

评论数:0

Keras backens函数

Keras是一个模型级的库,提供了很多高层函数。但它本身无法进行低级操作,如张量相乘、卷积等。因此它需要利用其他的库进行计算,作为后端引擎。除了常用的Tensorflow,还支持Theano(现在停止更新了),CNTK。Backend functionsset_image_data_formats...

2017-10-11 14:21:58

阅读数:1561

评论数:0

Caffe2 入门教程

Caffe2 概念Caffe2已经发布几个月了,但目前的使用率并不高,相关文档并不完善,与Caffe(1)相比入门较难。本文主要讲解Caffe2的一些概念,由于本人也是新手,仅做参考,欢迎交流。Tutorials: Intro TutorialBlobs and Workspace, Tensor...

2017-09-11 22:53:46

阅读数:2569

评论数:2

深度网络模型压缩DEEP COMPRESSION

DEEP COMPRESSION主要流程: pruning(剪枝) trained quantization(量化训练) Huffman coding(霍夫曼编码) 首先通过学习重要的连接来修剪网络;接下来,量化权重以实施权重共享;最后,应用霍夫曼编码。实际效果可以将AlexNet 无准确率损失压...

2017-07-26 19:29:22

阅读数:973

评论数:0

NIPS 2016 Tutorial: Generative Adversarial Networks GAN简介

如果说新手如何快速了解GAN,那么这篇论文tutorial应该会被大家推荐。首先作者牛,Ian Goodfellow就是GAN之父;其次文章详细,不仅有技术,也有背景、思想、技巧。我也同样是一名GAN新手,读了之后理解的并不一定很准确,也希望和大家多交流。 NIPS 2016 Tutorial...

2017-04-21 15:59:33

阅读数:4394

评论数:0

tf.cond 与 tf.control_dependencies 的控制问题

问题引入在搜索tf.cond的使用方法时,找到了这样的一个问题:运行下面的一段tensorflow代码:pred = tf.constant(True) x = tf.Variable([1]) assign_x_2 = tf.assign(x, [2]) def update_x_2(): ...

2017-04-18 15:18:41

阅读数:6571

评论数:0

多任务深度学习论文阅读

Deep Learning Face Representation by Joint Identification-Verification这篇论文主要是针对人脸识别,分为两个任务: face identification task face verification task 前者目的是增大类间...

2017-04-11 16:51:10

阅读数:923

评论数:0

从零开始配置深度学习环境:ubuntu16.04 cuda opencv caffe 需要的库

有一台空闲的服务器,上面有一块K40的卡,原来的系统进不去了可以拿来搞一搞。。nvidia驱动这一步好像可以跳过,因为之后安装cuda能选择是否安装驱动。 上官网NVIDIA Driver Downloads找自己显卡的型号,看看适合的驱动编号是什么。 之后输入命令:sudo add-ap...

2017-03-29 11:14:17

阅读数:2236

评论数:0

Mask RCNN 论文阅读

mask rcnn 是对Faster R-CNN的功能上的提升,速度上仍然在200ms(5fps)。Faster R-CNN回顾Faster R-CNN由两个阶段组成。 第一阶段为RPN网络,提出候选对象bounding boxes。第二阶段,本质上是Fast R-CNN,从每个候选框中提取使用R...

2017-03-26 22:12:56

阅读数:6566

评论数:0

tensorflow 在windows下安装

蹭的深度学习课程,老师推荐用tensorflow做作业,因此先接触一下吧,不用来做项目,先熟悉一下语句。 相比于caffe,tensorflow没有复杂的编译过程,简单的可以把它看成一个python的库。所以安装起来也是很简单的~环境准备其实环境比最后的安装更重要= =也遇到了一些小问题。Ana...

2017-03-03 11:09:43

阅读数:5268

评论数:0

GoogleNet :Going deeper with convolutions 论文阅读

这次读旁边拿了纸笔记录,感觉还是方便一些,之后再写篇博客总结一下加深印象。问题引出Going deeper考虑的问题: 不在于训练数据、模型大小,希望得到新的模型结构; 可以用于移动计算,需要考虑功率、内存使用等问题。 NIN借鉴到的1*1卷积核: 降维(当然也可以升维),减少参数和计算; 增加深...

2017-02-13 20:16:15

阅读数:713

评论数:0

cs231n笔记1

斯坦福深度学习与机器视觉课程cs231n,感觉挺不错的,顺便记下来一些零碎的点,不过具体内容还是要参考笔记、视频。不过网易云课堂的视频还是有些问题的。研究历史一开始是对猫的视觉进行研究,发现有如下神奇的特点: 对于整个图像,猫的视觉基础神经元没有被激活。 在切换图像时,神经元被激活。 因此研究人员...

2016-12-21 17:08:31

阅读数:384

评论数:0

论文阅读:Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification

Xie S, Yang T, Wang X, et al. Hyper-class augmented and regularized deep learning for fine-grained image classification[C]// IEEE Conference on Compu...

2016-12-20 16:20:00

阅读数:829

评论数:0

caffe自定义层

developing new layer 开发一个新层 添加一个层的类声明到:include/caffe/layers/your_layer.hpp。 包括type的内联实现方法覆盖virtual inline const char* type() const { return "Yo...

2016-12-19 18:22:26

阅读数:2220

评论数:0

转:Caffe 训练时loss等于87.33的原因及解决方法

如题,在caffe训练时,遇到这个特殊的数字之后,loss会一直就是这个数字。 网上虽然有很多针对这个问题调参的trick,但少有详细的分析,因此,有必要研究一下caffe的源代码。 softmax的公式为 pk=exp(xk)∑iexp(xi) 其中x为softmax前一层的输出 sof...

2016-12-13 13:12:35

阅读数:3661

评论数:0

YOLO:You Only Look Once 论文阅读

You Only Look Once: Unified, Real-Time Object Detection YOLO官网 论文阅读笔记:You Only Look Once: Unified, Real-Time Object Detection 简介与特点YOLO是今年CVPR上提...

2016-12-11 20:35:21

阅读数:2100

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭