Yan_Joy的博客

真正博客: http://yanjoy.win/

Distiller:正则化

Regularization 正则化 在Deep Learning1书中,是这么定义正则化的: “any modification we make to a learning algorithm that is intended to reduce its generalization er...

2019-01-08 16:25:57

阅读数 86

评论数 0

Distiller:量化算法

Quantization Algorithms 量化算法 注意: 对于任何需要量化感知训练的以下方法,请参阅这里,了解如何使用Distiller的机制调用它。 基于范围的线性量化(Range-Based Linear Quantization) 让我们在此分解使用的术语: 线性(Linear...

2019-01-08 15:26:30

阅读数 182

评论数 0

Distiller:神经网络压缩研究框架

Distiller是由Intel AI Lab维护的基于PyTorch的开源神经网络压缩框架。主要包括: 用于集成剪枝(pruning),正则化(regularization)和量化(quantization )算法的框架。 一套用于分析和评估压缩性能的工具。 现有技术压缩算法的示例实现。 这...

2019-01-07 17:38:11

阅读数 175

评论数 0

Tensorflow 静态图的动态收缩

Tensorflow 的静态图机制给一个动态调整区间和mask的网络带来了不少麻烦。 问题描述 随着训练的进行,扩大区间rrr的范围,并对区间内的权重进行量化操作。一次训练可能要量化多个区间,量化后权重冻结。 静态图思路 权重冻结 这是一个老问题,之前的文章中也有介绍。解决方法还是: def en...

2019-01-05 21:15:17

阅读数 92

评论数 0

PyTorch 0.4 升级指南

4月25日,PyTorch团队正式发布了0.4.0的release版本。这是在与caffe2合并后的首个稳定版本。其中核心的变化有: Tensor/Variable合并 零维张量(标量) volatile标志的弃用 dtypes,devices和Numpy型Tensor的创建函数 写设备无关的代码...

2018-04-26 17:08:00

阅读数 1392

评论数 0

cannot import name 'ReparseException' & tf模型参数提取

Tensorboard ImportError: cannot import name ‘ReparseException’ 环境: python 3.5.4 Tensorflow==1.4.1 html5lib==1.0.1 错误信息: ImportError: cannot...

2018-04-16 19:45:06

阅读数 297

评论数 0

tf的条件赋值(量化)

在numpy中一行实现的代码,始终不知道如何在tf中快速实现= =问题对于一个任意维度张量a,使其值在0到1之间的值量化到0.5。Numpy# Input:a a[(a>0)&(a<1)] = 0.5这大概是最简单的实现方式吧。TensorFlow而在tf中,每一步操作都需要T...

2018-04-08 10:42:56

阅读数 679

评论数 0

python list 复制拷贝问题

大概python绕不开这个小小的问题。。很简单不过还是记录一下吧。问题my_list = [ ... ] new_list = my_list 这样的操作并不会获得一个my_list的副本,而是会让new_list也“指向”my_list,共享内容。my_list = [ 1 ,2 ,3 ] ne...

2018-03-01 21:21:58

阅读数 480

评论数 0

TensorFlow 新手入门

刚装上TensorFlow,还是不太会用,主要去官网还要翻墙太麻烦了。。随手翻一下教程备用初识TensorFlow初期准备: 安装好TensorFlow 知道如何在Python中编程 懂一点数组知识 最好了解机器学习(不必要) TensorFLow提供多种APIs,从低级到高级,满足不同使用需求,...

2017-03-07 16:35:33

阅读数 1515

评论数 0

tensorflow 在windows下安装

蹭的深度学习课程,老师推荐用tensorflow做作业,因此先接触一下吧,不用来做项目,先熟悉一下语句。 相比于caffe,tensorflow没有复杂的编译过程,简单的可以把它看成一个python的库。所以安装起来也是很简单的~环境准备其实环境比最后的安装更重要= =也遇到了一些小问题。Ana...

2017-03-03 11:09:43

阅读数 5480

评论数 0

Caffe python layer 的自定义

还是caffe的自定义层问题。相比于c,python的自定义层更为简单:代码少、外部文件少、方便执行。因此用这种方法实现有利于开发和实验。准备首先还是要记得在编译的时候加上WITH_PYTHON_LAYER的选项,如果没有加可以先make clean删除编译后的文件,再重新编译。WITH_PYTH...

2017-02-17 16:20:33

阅读数 7157

评论数 16

scrapy中遇到的问题与解决

Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 因为好像这个用的比较多,所以看看用这个框架该怎么写爬虫。其实不难,但是中间出了很多神奇的小问题。 输出不正确、改代码结果不变?其实是因为反复使用命令scrapy cra...

2017-01-23 12:08:41

阅读数 4452

评论数 0

python小爬虫-糗百

序在家没事本来想弄一下pyqt,做一些python下的界面,但是eric装了半天没成功……于是改做爬虫(:3[__] 还好网上教程多,参考了一下,大致的框架都比较简单,难的在于针对不同的网页如何写正则表达式。不过这东西写多了应该就掌握方法了。从网上找了一段代码是爬糗百的,由于改版原来的表达式失效...

2017-01-20 21:02:27

阅读数 262

评论数 0

Deepdream 实现

Deepdream是一年半前谷歌搞的一个深度学习“艺术品”,最近在cs231n课上看到了,感觉还是很interesting。环境准备deepdream还是基于python和caffe深度网络的,因此大概需要以下环境: Standard Python scientific stack: NumPy,...

2017-01-11 18:34:38

阅读数 7349

评论数 3

Caffe-python interface 学习|网络训练、部署、测试

继续python接口的学习。剩下还有solver、deploy文件的生成和模型的测试。 网络训练 solver文件生成 其实我觉得用python生成solver并不如直接写个配置文件,它不像net配置一样有很多重复的东西。 对于一下的solver配置文件: base_lr: ...

2017-01-08 13:56:14

阅读数 4716

评论数 0

Caffe-python interface 学习|网络定义详解

之前用的都是caffe的命令行接口,单独训练还行,不过看里面层的参数、数据还是很麻烦的。特别是这周实验遇到了比较大的问题,命令行无能为力,还是要好好看看python接口。 python 接口编译 这个一般在编译caffe时都会顺带完成,如果遇到ImportError: No module ...

2017-01-06 16:41:09

阅读数 2625

评论数 0

python文件命名小脚本

写个文件命名的python程序,复(yu)习一下python。 程序写得应该不是很好。。import os; import shutil; from PIL import Image; ##输入为图片路径 ##命名方式为统一位数数字递增 ##单一文件格式查找 ##输出为: ## result....

2016-12-12 20:23:51

阅读数 812

评论数 0

Caffe-faster-rcnn demo测试

RCNN是目前detection中较新且准确度较高的方法,充分发挥了CNN分类的优势,但速度并不快,从而产生了fast rcnn和faster rcnn来解决这个问题。本文使用py-faster-rcnn对该方法做一初步测试。 rbgirshick/py-faster-rcnn 环境准备软件环...

2016-11-12 15:06:15

阅读数 6212

评论数 6

caffe学习(11)python的数据可视化

caffe本身没有可视化的工具,一般需要配合python或matlab实现数据的可视化,在实践本文之前要先把caffe python编译好。另外有的服务器只有shell,没有可视化的界面,只好先把每一层的数据先保存成图片格式,再进行显示。 Caffe学习系列(14):初识数据可视化 Py...

2016-11-09 16:24:15

阅读数 780

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭