机器学习
Yan_Joy
这个作者很懒,什么都没留下…
展开
-
YOLO:You Only Look Once 论文阅读
You Only Look Once: Unified, Real-Time Object Detection YOLO官网 论文阅读笔记:You Only Look Once: Unified, Real-Time Object Detection简介与特点YOLO是今年CVPR上提出的一种目标检测方法,其速度达到了45fps(YOLO v2 达到了67fps),完全可以处理视频。其框原创 2016-12-11 20:35:21 · 3038 阅读 · 0 评论 -
Keras backens函数
Keras是一个模型级的库,提供了很多高层函数。但它本身无法进行低级操作,如张量相乘、卷积等。因此它需要利用其他的库进行计算,作为后端引擎。除了常用的Tensorflow,还支持Theano(现在停止更新了),CNTK。Backend functionsset_image_data_formatset_image_data_format(data_format)参数:data_format: st原创 2017-10-11 14:21:58 · 4593 阅读 · 0 评论 -
Tensorflow trick 与 细节
前后传播采用不同方式How Can I Define Only the Gradient for a Tensorflow Subgraph? Suppose you want group of ops that behave as f(x) in forward mode, but as g(x) in the backward mode. You implement it ast = g(x)原创 2017-10-15 22:21:29 · 881 阅读 · 0 评论 -
keras tips&problems
写了一下keras的层,出现了一些问题,值得总结一下~Python中对变量是否为None的判断这个问题出在以下代码段:self.mask = np.zeros(shape)if self.mask == None: passelse: pass直接运行会报错,原因在于对于numpy数组,对None的判断是对于其中元素的,而不是对于mask这个对象的。如果比较相同的对象实例,is总是原创 2017-11-03 17:19:17 · 517 阅读 · 0 评论 -
综述论文:当前深度神经网络模型压缩和加速方法速览
A Survey of Model Compression and Acceleration for Deep Neural Networks研究背景在神经网络方面,早在上个世纪末,Yann LeCun等人已经使用神经网络成功识别了邮件上的手写邮编。至于深度学习的概念是由Geoffrey Hinton等人首次提出,而在2012年,Krizhevsky等人采用深度学习算法,以超过第二名以传统人工设计原创 2017-11-30 08:46:58 · 3394 阅读 · 1 评论 -
center loss 论文学习
center loss框架从网络的的框架来看,center loss的主要工作是下图中的“Discriminative Features”。 普通的网络框架,在反向传播的过程中,根据类别标签,会将不同的类别划分开。如“Separable Features”所示,一开始两种颜色是混杂的,通过改变网络参数,让不同颜色能被分类器分开,就达到了目的。而这个过程中,只对不同类有要求,同一类没有进行约束。原创 2018-02-27 19:59:21 · 2115 阅读 · 0 评论 -
CLIP-Q:先剪枝后量化的压缩框架
In-parallel pruning-quantizationClipping. 设置两个截止点标量c−c−c^-和c+c+c^+,用超参数ppp来确定,使正参数中(p×100)%(p×100)%(p \times 100)\%的参数小于c+c+c^+,同时使负参数中(p×100)%(p×100)%(p\times100)\%的参数大于c−c−c^-。位于c−c−c^-和c+c+c^+之间...原创 2018-08-06 15:21:12 · 3078 阅读 · 2 评论 -
Tensorflow 静态图的动态收缩
Tensorflow 的静态图机制给一个动态调整区间和mask的网络带来了不少麻烦。问题描述随着训练的进行,扩大区间rrr的范围,并对区间内的权重进行量化操作。一次训练可能要量化多个区间,量化后权重冻结。静态图思路权重冻结这是一个老问题,之前的文章中也有介绍。解决方法还是:def entry_stop_gradients(target, mask): mask = tf.cas...原创 2019-01-05 21:15:17 · 820 阅读 · 0 评论 -
Distiller:神经网络压缩研究框架
Distiller是由Intel AI Lab维护的基于PyTorch的开源神经网络压缩框架。主要包括:用于集成剪枝(pruning),正则化(regularization)和量化(quantization )算法的框架。一套用于分析和评估压缩性能的工具。现有技术压缩算法的示例实现。这算是目前我发现的最完整的压缩框架了,比较适合科研工作。下面简单说一下安装和使用。NervanaSy...原创 2019-01-07 17:38:11 · 5566 阅读 · 17 评论 -
Distiller:量化算法
Quantization Algorithms量化算法注意:对于任何需要量化感知训练的以下方法,请参阅这里,了解如何使用Distiller的机制调用它。基于范围的线性量化(Range-Based Linear Quantization)让我们在此分解使用的术语:线性(Linear): 表示通过乘以数字常数(比例因子)来量化浮点值。基于范围(Range-Based): 意味着为了...翻译 2019-01-08 15:26:30 · 6319 阅读 · 0 评论 -
Distiller:正则化
Regularization正则化在Deep Learning1书中,是这么定义正则化的:“any modification we make to a learning algorithm that is intended to reduce its generalization error, but not its training error.”PyTorch的 优化器使用l2...翻译 2019-01-08 16:25:57 · 929 阅读 · 0 评论 -
ReLeQ:一种自动强化学习的神经网络深度量化方法
ReLeQ:一种自动强化学习的神经网络深度量化方法ReLeQ: An Automatic Reinforcement Learning Approach for Deep Quantization of Neural Networks量化作为压缩的一种重要手段被广泛应用,而位宽和准确率的矛盾也始终存在。目前解决的方法有如CLIP-Q中的贝叶斯优化器,确定位宽。另一个问题是量化值的选取,在L...原创 2019-02-28 16:46:30 · 1650 阅读 · 0 评论 -
Caffe2 入门教程
Caffe2 概念Caffe2已经发布几个月了,但目前的使用率并不高,相关文档并不完善,与Caffe(1)相比入门较难。本文主要讲解Caffe2的一些概念,由于本人也是新手,仅做参考,欢迎交流。Tutorials: Intro TutorialBlobs and Workspace, Tensors和Caffe1一样,Caffe2也有Blobs,并也代表着内存中的数据块。大多数的blobs中都含有t原创 2017-09-11 22:53:46 · 4687 阅读 · 2 评论 -
深度网络模型压缩DEEP COMPRESSION
DEEP COMPRESSION主要流程:pruning(剪枝)trained quantization(量化训练)Huffman coding(霍夫曼编码)首先通过学习重要的连接来修剪网络;接下来,量化权重以实施权重共享;最后,应用霍夫曼编码。实际效果可以将AlexNet 无准确率损失压缩35倍,240MB到6.9MB,VGG-16压缩49倍,552MB到11.3MB。 Network原创 2017-07-26 19:29:22 · 2404 阅读 · 0 评论 -
NIPS 2016 Tutorial: Generative Adversarial Networks GAN简介
如果说新手如何快速了解GAN,那么这篇论文tutorial应该会被大家推荐。首先作者牛,Ian Goodfellow就是GAN之父;其次文章详细,不仅有技术,也有背景、思想、技巧。我也同样是一名GAN新手,读了之后理解的并不一定很准确,也希望和大家多交流。 NIPS 2016 Tutorial: Generative Adversarial Networks为什么要学习GAN第一部分首先解答了原创 2017-04-21 15:59:33 · 6875 阅读 · 0 评论 -
转:Caffe 训练时loss等于87.33的原因及解决方法
如题,在caffe训练时,遇到这个特殊的数字之后,loss会一直就是这个数字。 网上虽然有很多针对这个问题调参的trick,但少有详细的分析,因此,有必要研究一下caffe的源代码。 softmax的公式为 pk=exp(xk)∑iexp(xi)其中x为softmax前一层的输出softmax的loss计算公式也很简单,就是对softmax之后预测的概率做对数似然函数转载 2016-12-13 13:12:35 · 4708 阅读 · 0 评论 -
Machine learning: Trends, perspectives, and prospects
论文阅读:Machine learning: Trends, perspectives, and prospects绪论 机器学习强调让电脑通过学习自动地提高自己。其发展基于: 新的学习算法和理论 可用数据增多和计算成本变低 可以看到,机器学习的这几年的流行是多方面的因素,第二点的作用甚至更大一些:作为机器学习“燃料”的数据不仅提高了准确性,更避免了过拟合,提升泛化性能原创 2016-11-26 13:47:39 · 2060 阅读 · 0 评论 -
cs231n笔记1
斯坦福深度学习与机器视觉课程cs231n,感觉挺不错的,顺便记下来一些零碎的点,不过具体内容还是要参考笔记、视频。不过网易云课堂的视频还是有些问题的。研究历史一开始是对猫的视觉进行研究,发现有如下神奇的特点:对于整个图像,猫的视觉基础神经元没有被激活。在切换图像时,神经元被激活。因此研究人员认为神经元对简单形状、边缘有反应。David Marr提出视觉是分层的。Created with Rap原创 2016-12-21 17:08:31 · 600 阅读 · 0 评论 -
caffe自定义层
developing new layer开发一个新层添加一个层的类声明到:include/caffe/layers/your_layer.hpp。 包括type的内联实现方法覆盖virtual inline const char* type() const { return "YourLayerName"; },将YourLayerName替换为你的层名称。实现{*} Blobs()方法来指翻译 2016-12-19 18:22:26 · 3517 阅读 · 0 评论 -
论文阅读:Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification
Xie S, Yang T, Wang X, et al. Hyper-class augmented and regularized deep learning for fine-grained image classification[C]// IEEE Conference on Computer Vision and Pattern Recognition. 2015. 车型识别“Hy翻译 2016-12-20 16:20:00 · 1501 阅读 · 0 评论 -
GoogleNet :Going deeper with convolutions 论文阅读
这次读旁边拿了纸笔记录,感觉还是方便一些,之后再写篇博客总结一下加深印象。问题引出Going deeper考虑的问题:不在于训练数据、模型大小,希望得到新的模型结构;可以用于移动计算,需要考虑功率、内存使用等问题。NIN借鉴到的1*1卷积核:降维(当然也可以升维),减少参数和计算;增加深度、宽度,而没有明显性能损失。目前提高深度神经网络性能的方法: 加大size→ 缺点:容易造成过原创 2017-02-13 20:16:15 · 1154 阅读 · 0 评论 -
tensorflow 在windows下安装
蹭的深度学习课程,老师推荐用tensorflow做作业,因此先接触一下吧,不用来做项目,先熟悉一下语句。 相比于caffe,tensorflow没有复杂的编译过程,简单的可以把它看成一个python的库。所以安装起来也是很简单的~环境准备其实环境比最后的安装更重要= =也遇到了一些小问题。AnacondaTensorflow基于python,而Anaconda提供了较好的python环境,特别是建原创 2017-03-03 11:09:43 · 5968 阅读 · 0 评论 -
从零开始配置深度学习环境:ubuntu16.04 cuda opencv caffe 需要的库
有一台空闲的服务器,上面有一块K40的卡,原来的系统进不去了可以拿来搞一搞。。nvidia驱动这一步好像可以跳过,因为之后安装cuda能选择是否安装驱动。 上官网NVIDIA Driver Downloads找自己显卡的型号,看看适合的驱动编号是什么。 之后输入命令:sudo add-apt-repository ppa:graphics-drivers/ppasudo apt-get u原创 2017-03-29 11:14:17 · 3439 阅读 · 0 评论 -
多任务深度学习论文阅读
Deep Learning Face Representation by Joint Identification-Verification这篇论文主要是针对人脸识别,分为两个任务:face identification taskface verification task前者目的是增大类间间距,即不同人的差距;后者是为了减小类内差距,即相同人在不同环境下的差异。 在网络的设计中,最终生成的原创 2017-04-11 16:51:10 · 1845 阅读 · 1 评论 -
Mask RCNN 论文阅读
mask rcnn 是对Faster R-CNN的功能上的提升,速度上仍然在200ms(5fps)。Faster R-CNN回顾Faster R-CNN由两个阶段组成。 第一阶段为RPN网络,提出候选对象bounding boxes。第二阶段,本质上是Fast R-CNN,从每个候选框中提取使用RoIPool的特征,并执行分类和边界框回归。 Mask R-CNN特点Mask R-CNN在概念上很简单原创 2017-03-26 22:12:56 · 8554 阅读 · 2 评论 -
tf.cond 与 tf.control_dependencies 的控制问题
问题引入在搜索tf.cond的使用方法时,找到了这样的一个问题:运行下面的一段tensorflow代码:pred = tf.constant(True)x = tf.Variable([1])assign_x_2 = tf.assign(x, [2])def update_x_2(): with tf.control_dependencies([assign_x_2]): retu原创 2017-04-18 15:18:41 · 8063 阅读 · 2 评论 -
Jetson AGX Xavier JetPack 4.2环境配置
Jetson AGX Xavier 去年,NVIDIA在苏州举办了GTC China大会上发布的AI计算平台,主要用于移动端的计算。想法美好,不过配起来环境还是遇到了很多问题,一些是软件,另一些甚至还有硬件。设备需求Jetson AGX Xavier(当然)显示器(两台,一个给host主机,一个给Xavier平台,配套的hdmi线)网线(也要备两根)键鼠(一套就行,主要工作在host上...原创 2019-04-03 22:11:52 · 7677 阅读 · 19 评论