Yan_Joy的博客

真正博客: http://yanjoy.win/

排序:
默认
按更新时间
按访问量

CLIP-Q:先剪枝后量化的压缩框架

In-parallel pruning-quantization Clipping. 设置两个截止点标量c−c−c^-和c+c+c^+,用超参数ppp来确定,使正参数中(p×100)%(p×100)%(p \times 100)\%的参数小于c+c+c^+,同时使负参数中(p×100)%(p×...

2018-08-06 15:21:12

阅读数:4

评论数:0

PyTorch 0.4 升级指南

4月25日,PyTorch团队正式发布了0.4.0的release版本。这是在与caffe2合并后的首个稳定版本。其中核心的变化有: Tensor/Variable合并 零维张量(标量) volatile标志的弃用 dtypes,devices和Numpy型Tensor的创建函数 写设备无关的代码...

2018-04-26 17:08:00

阅读数:630

评论数:0

cannot import name 'ReparseException' & tf模型参数提取

Tensorboard ImportError: cannot import name ‘ReparseException’ 环境: python 3.5.4 Tensorflow==1.4.1 html5lib==1.0.1 错误信息: ImportError: cannot...

2018-04-16 19:45:06

阅读数:98

评论数:0

tf的条件赋值(量化)

在numpy中一行实现的代码,始终不知道如何在tf中快速实现= =问题对于一个任意维度张量a,使其值在0到1之间的值量化到0.5。Numpy# Input:a a[(a>0)&(a<1)] = 0.5这大概是最简单的实现方式吧。TensorFlow而在tf中,每一步操作都需要T...

2018-04-08 10:42:56

阅读数:201

评论数:0

python list 复制拷贝问题

大概python绕不开这个小小的问题。。很简单不过还是记录一下吧。问题my_list = [ ... ] new_list = my_list 这样的操作并不会获得一个my_list的副本,而是会让new_list也“指向”my_list,共享内容。my_list = [ 1 ,2 ,3 ] ne...

2018-03-01 21:21:58

阅读数:157

评论数:0

center loss 论文学习

center loss框架从网络的的框架来看,center loss的主要工作是下图中的“Discriminative Features”。 普通的网络框架,在反向传播的过程中,根据类别标签,会将不同的类别划分开。如“Separable Features”所示,一开始两种颜色是混杂的,通过改变网...

2018-02-27 19:59:21

阅读数:211

评论数:0

DeepCompression思考

网上很少有Deepcompress的实现源码,前一段时间使用TensorFlow实现了一下,还是有些问题值得注意。TensorFlow的局限性TensorFlow支持的是一种静态图,当模型的参数确定之后,便无法继续修改。这对于逐阶段、分层的训练带来了一定的困难。具体在本项目中,权重的固定无法在单次...

2018-01-11 20:17:39

阅读数:158

评论数:5

清华源apt-get update 0%

本来以为是个小问题,结果查了半天没解决= =系统环境:Ubuntu 16.04.3 LTS(基于docker)切换apt为清华源Ubuntu 镜像使用帮助: Ubuntu 的软件源配置文件是/etc/apt/sources.list。将系统自带的该文件做个备份,将该文件替换为下面内容,即可使用 ...

2017-12-28 16:52:36

阅读数:405

评论数:0

综述论文:当前深度神经网络模型压缩和加速方法速览

A Survey of Model Compression and Acceleration for Deep Neural Networks 研究背景在神经网络方面,早在上个世纪末,Yann LeCun等人已经使用神经网络成功识别了邮件上的手写邮编。至于深度学习的概念是由Geoffrey Hin...

2017-11-30 08:46:58

阅读数:538

评论数:0

keras tips&problems

写了一下keras的层,出现了一些问题,值得总结一下~Python中对变量是否为None的判断这个问题出在以下代码段:self.mask = np.zeros(shape)if self.mask == None: pass else: pass直接运行会报错,原因在于对于nump...

2017-11-03 17:19:17

阅读数:180

评论数:0

CS20SI Operations

CS 20SI: Tensorflow for Deep Learning ResearchFun with TensorBoardgraph 的可视化,语句为tf.summary.FileWriter,将sess的图输出到./graphs。首先在默认图中建立常数与操作,并在session中运行。...

2017-10-20 16:25:39

阅读数:169

评论数:0

Tensorflow trick 与 细节

前后传播采用不同方式How Can I Define Only the Gradient for a Tensorflow Subgraph? Suppose you want group of ops that behave as f(x) in forward mode, but as g(...

2017-10-15 22:21:29

阅读数:262

评论数:0

Keras backens函数

Keras是一个模型级的库,提供了很多高层函数。但它本身无法进行低级操作,如张量相乘、卷积等。因此它需要利用其他的库进行计算,作为后端引擎。除了常用的Tensorflow,还支持Theano(现在停止更新了),CNTK。Backend functionsset_image_data_formats...

2017-10-11 14:21:58

阅读数:1537

评论数:0

10分钟Pandas教程

10 Minutes to pandas10分钟pandas教程对于数据处理分析的新手,花十分钟熟悉pandas很有必要,一起开始吧~第一步要会导入pandas和其好基友们:In [1]: import pandas as pdIn [2]: import numpy as npIn [3]: i...

2017-09-26 14:42:23

阅读数:2440

评论数:0

Caffe2 入门教程

Caffe2 概念Caffe2已经发布几个月了,但目前的使用率并不高,相关文档并不完善,与Caffe(1)相比入门较难。本文主要讲解Caffe2的一些概念,由于本人也是新手,仅做参考,欢迎交流。Tutorials: Intro TutorialBlobs and Workspace, Tensor...

2017-09-11 22:53:46

阅读数:2552

评论数:2

深度网络模型压缩DEEP COMPRESSION

DEEP COMPRESSION主要流程: pruning(剪枝) trained quantization(量化训练) Huffman coding(霍夫曼编码) 首先通过学习重要的连接来修剪网络;接下来,量化权重以实施权重共享;最后,应用霍夫曼编码。实际效果可以将AlexNet 无准确率损失压...

2017-07-26 19:29:22

阅读数:971

评论数:0

Tensorflow 解决 No module named '_pywrap_tensorflow_internal'

这个问题是我在windows上尝试安装GPU版本时出现的,系统 win10,CUDA 8.0,VS2015 com,cudnn-8.0-windows10-x64-v6.0。 官网上安装指南中Common installation problems也有提到,给出的是STACK OVERFLOW ...

2017-07-25 18:55:48

阅读数:12124

评论数:0

小问题: caffe2 安装到自己目录下

caffe2 默认是安装到系统文件中的,如果没有权限会遇到很多问题。 本人环境是基于conda的虚拟环境,方便python包的管理,提前要装好caffe2的依赖环境。 首先是需要更改安装路径:git clone --recursive https://github.com/caffe2/caf...

2017-07-23 21:05:08

阅读数:1293

评论数:2

建立个人博客-进阶

0在上一篇文章中,我把建免费个人博客的的步骤简单总结为了三点: 申请空间 博客框架搭建 上传与更新 有同学尝试后最大的问题是Github桌面版版本与教程不符。目前最新的版本是Desktop Beta,界面有了较大的变化,操作也可能有所不同。为了简单还是下载稳定版比较好。本篇文章主要针对于域名、解析...

2017-06-18 19:36:00

阅读数:381

评论数:0

0元3步建博客

0在目前新媒体如微博、公众号盛行的情况下,15年前最热网络平台博客已经很少出现在人们的视野中了。这也是得益于移动应用的快速发展,碎片化时间的增多,让人很难有时间去坐在电脑前完整阅读一篇博客。不过博客也趋向专业化、特色化发展,虽然传播性不强,但其开放性、专一性也往往是其他平台比不上的。本文就简单教大...

2017-06-12 11:15:41

阅读数:247

评论数:0

Shell 脚本初学

其实这个是因为服务器卡不够用,为了充分占用一块卡的资源,需要写个shell脚本帮忙运行网络= = shell是一种脚本语言(区别于编译语言),在UNIX上基本都通用。在我看来,这个脚本主要并不是用来计算,而是用来管理打杂的。Hello world!第一个程序,还是输出Hello world吧。 ...

2017-05-04 16:11:35

阅读数:262

评论数:0

NIPS 2016 Tutorial: Generative Adversarial Networks GAN简介

如果说新手如何快速了解GAN,那么这篇论文tutorial应该会被大家推荐。首先作者牛,Ian Goodfellow就是GAN之父;其次文章详细,不仅有技术,也有背景、思想、技巧。我也同样是一名GAN新手,读了之后理解的并不一定很准确,也希望和大家多交流。 NIPS 2016 Tutorial...

2017-04-21 15:59:33

阅读数:4392

评论数:0

caffe2 安装与介绍

一早发现caffe2的较成熟的release版发布了(the first production-ready release),那么深度学习平台在之后一段时间也是会出现其与tensorflow相互竞争的局面。 从打开这个caffe2的官网就会发现,有了Facebook的支持,连界面也好看多了。不过...

2017-04-19 15:31:03

阅读数:27053

评论数:4

tf.cond 与 tf.control_dependencies 的控制问题

问题引入在搜索tf.cond的使用方法时,找到了这样的一个问题:运行下面的一段tensorflow代码:pred = tf.constant(True) x = tf.Variable([1]) assign_x_2 = tf.assign(x, [2]) def update_x_2(): ...

2017-04-18 15:18:41

阅读数:6561

评论数:0

多任务深度学习论文阅读

Deep Learning Face Representation by Joint Identification-Verification这篇论文主要是针对人脸识别,分为两个任务: face identification task face verification task 前者目的是增大类间...

2017-04-11 16:51:10

阅读数:918

评论数:0

cuda 学习 | GPU的归约、扫描、直方图算法

两种复杂度 Step complexity 即步骤复杂度,完成一个工作需要多少步。 Work complexity 即工作复杂度,完成工作一共需要的工作量。 对于并行计算,由于可以采取多线程的运算,可以对每一步的运算时间进行很大的缩减。但对于整个程序,有时需要分很多步骤,后续步骤需要等待前面的...

2017-04-05 11:20:12

阅读数:1067

评论数:1

cuda 学习 | GPU硬件与并行通信模式

通信方式通信方式主要以课程截图为主……Map 这是一种一一对应的方式。Gather 多对一的方式。Scatter 一对多的方式。Stencil 模板,多对多的方式。 图中左中为输入,左下为输出,不同颜色为不同线程的读取、输出位置。Transpose 转置操作,改变形状、顺序等。 ...

2017-03-31 16:32:44

阅读数:1031

评论数:0

cuda 并行计算 | GPU 编程模型

udacity上的课程,有nvidia的工程师上课,比较基础也比较易懂。CUDA程序的特点相比于CPU的单线程串行计算,CUDA程序的多线程对速度提升有很大的作用。 这就是优化时间与优化吞吐量的区别。 程序编译后分别在CPU和GPU上运行; CPU是主机(host),GPU是从机(device)...

2017-03-30 13:13:45

阅读数:1577

评论数:0

从零开始配置深度学习环境:ubuntu16.04 cuda opencv caffe 需要的库

有一台空闲的服务器,上面有一块K40的卡,原来的系统进不去了可以拿来搞一搞。。nvidia驱动这一步好像可以跳过,因为之后安装cuda能选择是否安装驱动。 上官网NVIDIA Driver Downloads找自己显卡的型号,看看适合的驱动编号是什么。 之后输入命令:sudo add-ap...

2017-03-29 11:14:17

阅读数:2226

评论数:0

Mask RCNN 论文阅读

mask rcnn 是对Faster R-CNN的功能上的提升,速度上仍然在200ms(5fps)。Faster R-CNN回顾Faster R-CNN由两个阶段组成。 第一阶段为RPN网络,提出候选对象bounding boxes。第二阶段,本质上是Fast R-CNN,从每个候选框中提取使用R...

2017-03-26 22:12:56

阅读数:6562

评论数:0

Tensorflow 多任务学习

之前在caffe上实现了两个标签的多任务学习,如今换到了tensorflow,也想尝试一下,总的来说也不是很复杂。建立多任务图多任务的一个特点是单个tensor输入(X),多个输出(Y_1,Y_2...)。因此在定义占位符时要定义多个输出。同样也需要有多个损失函数用于分别计算每个任务的损失。具体代...

2017-03-15 20:24:27

阅读数:5574

评论数:0

TensorBoard 在1.0 版本后的使用

注意:在阅读本文之前,请务必更新你的浏览器。Chrome大法好! 数据、模型可视化是TensorFlow的一项重要的功能,安装后自带的TensorBoard是一个很强大的工具,但目前的教程大多都停留在TensorFlow 1.0 版本之前,一些函数已经改名无法使用,因此写一篇比较新的使用说明。主...

2017-03-08 15:14:27

阅读数:7616

评论数:0

TensorFlow 新手入门

刚装上TensorFlow,还是不太会用,主要去官网还要翻墙太麻烦了。。随手翻一下教程备用初识TensorFlow初期准备: 安装好TensorFlow 知道如何在Python中编程 懂一点数组知识 最好了解机器学习(不必要) TensorFLow提供多种APIs,从低级到高级,满足不同使用需求,...

2017-03-07 16:35:33

阅读数:1343

评论数:0

Udacity Linux 命令行基础 Shell 入门

Linux 命令行基础 Shell 入门 这上面讲的有点太简单了,总结一下备忘。Get into the shell错误信息输入包括单引号’、圆括号(、大括号{ 输出有>(右尖括号),需要补全。 ctrl+c退出简单指令目录文件ls下载curl http://udacity.gith...

2017-03-06 20:56:50

阅读数:631

评论数:0

tensorflow 在windows下安装

蹭的深度学习课程,老师推荐用tensorflow做作业,因此先接触一下吧,不用来做项目,先熟悉一下语句。 相比于caffe,tensorflow没有复杂的编译过程,简单的可以把它看成一个python的库。所以安装起来也是很简单的~环境准备其实环境比最后的安装更重要= =也遇到了一些小问题。Ana...

2017-03-03 11:09:43

阅读数:5267

评论数:0

Generative Adversarial Nets

相比于传统的识别、分类工作,生成对抗网络以一种逆向的思维,让计算机有了一定的创造能力。这种创造在实际中有更大的意义,甚至在复杂的工作中也能取得良好的效果。首先看一下最初的Goodfellow的工作:Generative Adversarial Nets。介绍关于GAN,论文中有一个很恰当的比喻: ...

2017-02-28 15:53:01

阅读数:876

评论数:0

Caffe python layer 的自定义

还是caffe的自定义层问题。相比于c,python的自定义层更为简单:代码少、外部文件少、方便执行。因此用这种方法实现有利于开发和实验。准备首先还是要记得在编译的时候加上WITH_PYTHON_LAYER的选项,如果没有加可以先make clean删除编译后的文件,再重新编译。WITH_PYTH...

2017-02-17 16:20:33

阅读数:5924

评论数:16

GoogleNet :Going deeper with convolutions 论文阅读

这次读旁边拿了纸笔记录,感觉还是方便一些,之后再写篇博客总结一下加深印象。问题引出Going deeper考虑的问题: 不在于训练数据、模型大小,希望得到新的模型结构; 可以用于移动计算,需要考虑功率、内存使用等问题。 NIN借鉴到的1*1卷积核: 降维(当然也可以升维),减少参数和计算; 增加深...

2017-02-13 20:16:15

阅读数:705

评论数:0

scrapy中遇到的问题与解决

Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 因为好像这个用的比较多,所以看看用这个框架该怎么写爬虫。其实不难,但是中间出了很多神奇的小问题。 输出不正确、改代码结果不变?其实是因为反复使用命令scrapy cra...

2017-01-23 12:08:41

阅读数:3216

评论数:0

python小爬虫-糗百

序在家没事本来想弄一下pyqt,做一些python下的界面,但是eric装了半天没成功……于是改做爬虫(:3[__] 还好网上教程多,参考了一下,大致的框架都比较简单,难的在于针对不同的网页如何写正则表达式。不过这东西写多了应该就掌握方法了。从网上找了一段代码是爬糗百的,由于改版原来的表达式失效...

2017-01-20 21:02:27

阅读数:228

评论数:0

Deepdream 实现

Deepdream是一年半前谷歌搞的一个深度学习“艺术品”,最近在cs231n课上看到了,感觉还是很interesting。环境准备deepdream还是基于python和caffe深度网络的,因此大概需要以下环境: Standard Python scientific stack: NumPy,...

2017-01-11 18:34:38

阅读数:5983

评论数:3

Caffe-python interface 学习|网络训练、部署、测试

继续python接口的学习。剩下还有solver、deploy文件的生成和模型的测试。 网络训练 solver文件生成 其实我觉得用python生成solver并不如直接写个配置文件,它不像net配置一样有很多重复的东西。 对于一下的solver配置文件: base_lr: ...

2017-01-08 13:56:14

阅读数:4159

评论数:0

Caffe-python interface 学习|网络定义详解

之前用的都是caffe的命令行接口,单独训练还行,不过看里面层的参数、数据还是很麻烦的。特别是这周实验遇到了比较大的问题,命令行无能为力,还是要好好看看python接口。 python 接口编译 这个一般在编译caffe时都会顺带完成,如果遇到ImportError: No module ...

2017-01-06 16:41:09

阅读数:2388

评论数:0

cs231n笔记1

斯坦福深度学习与机器视觉课程cs231n,感觉挺不错的,顺便记下来一些零碎的点,不过具体内容还是要参考笔记、视频。不过网易云课堂的视频还是有些问题的。研究历史一开始是对猫的视觉进行研究,发现有如下神奇的特点: 对于整个图像,猫的视觉基础神经元没有被激活。 在切换图像时,神经元被激活。 因此研究人员...

2016-12-21 17:08:31

阅读数:384

评论数:0

论文阅读:Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification

Xie S, Yang T, Wang X, et al. Hyper-class augmented and regularized deep learning for fine-grained image classification[C]// IEEE Conference on Compu...

2016-12-20 16:20:00

阅读数:827

评论数:0

caffe自定义层

developing new layer 开发一个新层 添加一个层的类声明到:include/caffe/layers/your_layer.hpp。 包括type的内联实现方法覆盖virtual inline const char* type() const { return "Yo...

2016-12-19 18:22:26

阅读数:2213

评论数:0

转:Caffe 训练时loss等于87.33的原因及解决方法

如题,在caffe训练时,遇到这个特殊的数字之后,loss会一直就是这个数字。 网上虽然有很多针对这个问题调参的trick,但少有详细的分析,因此,有必要研究一下caffe的源代码。 softmax的公式为 pk=exp(xk)∑iexp(xi) 其中x为softmax前一层的输出 sof...

2016-12-13 13:12:35

阅读数:3653

评论数:0

python文件命名小脚本

写个文件命名的python程序,复(yu)习一下python。 程序写得应该不是很好。。import os; import shutil; from PIL import Image; ##输入为图片路径 ##命名方式为统一位数数字递增 ##单一文件格式查找 ##输出为: ## result....

2016-12-12 20:23:51

阅读数:543

评论数:0

YOLO:You Only Look Once 论文阅读

You Only Look Once: Unified, Real-Time Object Detection YOLO官网 论文阅读笔记:You Only Look Once: Unified, Real-Time Object Detection 简介与特点YOLO是今年CVPR上提...

2016-12-11 20:35:21

阅读数:2099

评论数:0

Machine learning: Trends, perspectives, and prospects

论文阅读:Machine learning: Trends, perspectives, and prospects绪论 机器学习强调让电脑通过学习自动地提高自己。其发展基于: 新的学习算法和理论 可用数据增多和计算成本变低 可以看到,机器学习的这几年的流行是多方面的...

2016-11-26 13:47:39

阅读数:1103

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭