python
Yan_Joy
这个作者很懒,什么都没留下…
展开
-
caffe学习(11)python的数据可视化
caffe本身没有可视化的工具,一般需要配合python或matlab实现数据的可视化,在实践本文之前要先把caffe python编译好。另外有的服务器只有shell,没有可视化的界面,只好先把每一层的数据先保存成图片格式,再进行显示。 Caffe学习系列(14):初识数据可视化 Python and/or MATLAB Caffe (optional)载入数据 import nu转载 2016-11-09 16:24:15 · 1093 阅读 · 0 评论 -
python list 复制拷贝问题
大概python绕不开这个小小的问题。。很简单不过还是记录一下吧。问题my_list = [ ... ]new_list = my_list 这样的操作并不会获得一个my_list的副本,而是会让new_list也“指向”my_list,共享内容。my_list = [ 1 ,2 ,3 ]new_list = my_list new_list[0] = 0print(new_list, my原创 2018-03-01 21:21:58 · 3517 阅读 · 0 评论 -
tf的条件赋值(量化)
在numpy中一行实现的代码,始终不知道如何在tf中快速实现= =问题对于一个任意维度张量a,使其值在0到1之间的值量化到0.5。Numpy# Input:aa[(a>0)&(a<1)] = 0.5这大概是最简单的实现方式吧。TensorFlow而在tf中,每一步操作都需要Tensor实现,那么我所找到的一种方法:greater = a>0less = a<1greater_less = tf原创 2018-04-08 10:42:56 · 3343 阅读 · 3 评论 -
cannot import name 'ReparseException' & tf模型参数提取
Tensorboard ImportError: cannot import name ‘ReparseException’环境:python 3.5.4Tensorflow==1.4.1html5lib==1.0.1错误信息:ImportError: cannot import name 'ReparseException'定位咋:~/anaconda3/...原创 2018-04-16 19:45:06 · 904 阅读 · 0 评论 -
PyTorch 0.4 升级指南
4月25日,PyTorch团队正式发布了0.4.0的release版本。这是在与caffe2合并后的首个稳定版本。其中核心的变化有:Tensor/Variable合并零维张量(标量)volatile标志的弃用dtypes,devices和Numpy型Tensor的创建函数写设备无关的代码下面对其中的升级注意的问题进行说明。 原文参考:PyTorch 0.4.0 Migration G翻译 2018-04-26 17:08:00 · 2445 阅读 · 1 评论 -
Tensorflow 静态图的动态收缩
Tensorflow 的静态图机制给一个动态调整区间和mask的网络带来了不少麻烦。问题描述随着训练的进行,扩大区间rrr的范围,并对区间内的权重进行量化操作。一次训练可能要量化多个区间,量化后权重冻结。静态图思路权重冻结这是一个老问题,之前的文章中也有介绍。解决方法还是:def entry_stop_gradients(target, mask): mask = tf.cas...原创 2019-01-05 21:15:17 · 820 阅读 · 0 评论 -
Distiller:神经网络压缩研究框架
Distiller是由Intel AI Lab维护的基于PyTorch的开源神经网络压缩框架。主要包括:用于集成剪枝(pruning),正则化(regularization)和量化(quantization )算法的框架。一套用于分析和评估压缩性能的工具。现有技术压缩算法的示例实现。这算是目前我发现的最完整的压缩框架了,比较适合科研工作。下面简单说一下安装和使用。NervanaSy...原创 2019-01-07 17:38:11 · 5564 阅读 · 17 评论 -
Distiller:量化算法
Quantization Algorithms量化算法注意:对于任何需要量化感知训练的以下方法,请参阅这里,了解如何使用Distiller的机制调用它。基于范围的线性量化(Range-Based Linear Quantization)让我们在此分解使用的术语:线性(Linear): 表示通过乘以数字常数(比例因子)来量化浮点值。基于范围(Range-Based): 意味着为了...翻译 2019-01-08 15:26:30 · 6318 阅读 · 0 评论 -
Distiller:正则化
Regularization正则化在Deep Learning1书中,是这么定义正则化的:“any modification we make to a learning algorithm that is intended to reduce its generalization error, but not its training error.”PyTorch的 优化器使用l2...翻译 2019-01-08 16:25:57 · 929 阅读 · 0 评论 -
TensorFlow 新手入门
刚装上TensorFlow,还是不太会用,主要去官网还要翻墙太麻烦了。。随手翻一下教程备用初识TensorFlow初期准备:安装好TensorFlow知道如何在Python中编程懂一点数组知识最好了解机器学习(不必要)TensorFLow提供多种APIs,从低级到高级,满足不同使用需求,越高级越容易学习和使用。下面的一些模型都可以用tf.contrib.learn高级API实现。Tenso翻译 2017-03-07 16:35:33 · 1925 阅读 · 0 评论 -
tensorflow 在windows下安装
蹭的深度学习课程,老师推荐用tensorflow做作业,因此先接触一下吧,不用来做项目,先熟悉一下语句。 相比于caffe,tensorflow没有复杂的编译过程,简单的可以把它看成一个python的库。所以安装起来也是很简单的~环境准备其实环境比最后的安装更重要= =也遇到了一些小问题。AnacondaTensorflow基于python,而Anaconda提供了较好的python环境,特别是建原创 2017-03-03 11:09:43 · 5968 阅读 · 0 评论 -
Caffe-faster-rcnn demo测试
RCNN是目前detection中较新且准确度较高的方法,充分发挥了CNN分类的优势,但速度并不快,从而产生了fast rcnn和faster rcnn来解决这个问题。本文使用py-faster-rcnn对该方法做一初步测试。 rbgirshick/py-faster-rcnn环境准备软件环境CaffePython一般来说这些我们都已经有所接触,但仍有一些需要注意的地方:要使用rbgi原创 2016-11-12 15:06:15 · 6876 阅读 · 6 评论 -
python文件命名小脚本
写个文件命名的python程序,复(yu)习一下python。 程序写得应该不是很好。。import os;import shutil;from PIL import Image;##输入为图片路径##命名方式为统一位数数字递增##单一文件格式查找##输出为:## result.txt 文件名,是否为完整图片## \full 完整图片库## \part 不完整图片库pat原创 2016-12-12 20:23:51 · 1423 阅读 · 0 评论 -
Caffe-python interface 学习|网络定义详解
之前用的都是caffe的命令行接口,单独训练还行,不过看里面层的参数、数据还是很麻烦的。特别是这周实验遇到了比较大的问题,命令行无能为力,还是要好好看看python接口。python 接口编译这个一般在编译caffe时都会顺带完成,如果遇到ImportError: No module named caffe,可能是没有编译或者没有添加到路径。 编译可以在根目录下make pycaff原创 2017-01-06 16:41:09 · 3136 阅读 · 0 评论 -
Caffe-python interface 学习|网络训练、部署、测试
继续python接口的学习。剩下还有solver、deploy文件的生成和模型的测试。网络训练solver文件生成其实我觉得用python生成solver并不如直接写个配置文件,它不像net配置一样有很多重复的东西。 对于一下的solver配置文件:base_lr: 0.001display: 782gamma: 0.1lr_policy: “step”max原创 2017-01-08 13:56:14 · 5729 阅读 · 0 评论 -
Deepdream 实现
Deepdream是一年半前谷歌搞的一个深度学习“艺术品”,最近在cs231n课上看到了,感觉还是很interesting。环境准备deepdream还是基于python和caffe深度网络的,因此大概需要以下环境:Standard Python scientific stack: NumPy, SciPy, PIL, IPython. Those libraries can also be in原创 2017-01-11 18:34:38 · 9349 阅读 · 3 评论 -
Caffe python layer 的自定义
还是caffe的自定义层问题。相比于c,python的自定义层更为简单:代码少、外部文件少、方便执行。因此用这种方法实现有利于开发和实验。准备首先还是要记得在编译的时候加上WITH_PYTHON_LAYER的选项,如果没有加可以先make clean删除编译后的文件,再重新编译。WITH_PYTHON_LAYER=1 make && make pycaffe如果出现layer_factory.hpp翻译 2017-02-17 16:20:33 · 8740 阅读 · 16 评论 -
python小爬虫-糗百
序在家没事本来想弄一下pyqt,做一些python下的界面,但是eric装了半天没成功……于是改做爬虫(:3[__] 还好网上教程多,参考了一下,大致的框架都比较简单,难的在于针对不同的网页如何写正则表达式。不过这东西写多了应该就掌握方法了。从网上找了一段代码是爬糗百的,由于改版原来的表达式失效了,正好有了一个锻炼的机会。以下是代码:代码# -*- coding:utf-8 -*-import原创 2017-01-20 21:02:27 · 441 阅读 · 0 评论 -
scrapy中遇到的问题与解决
Scrapy,Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。 因为好像这个用的比较多,所以看看用这个框架该怎么写爬虫。其实不难,但是中间出了很多神奇的小问题。输出不正确、改代码结果不变?其实是因为反复使用命令scrapy crawl spider -o 1.json时候,增加的输出数据不会覆盖,而是继续往后面添加。request不原创 2017-01-23 12:08:41 · 7305 阅读 · 0 评论 -
MMdnn:微软模型转换工具
简介深度学习火了,一同热的还有深度学习框架。当然经过了几年的淘汰(比如theano),目前最火的大概有Tensorflow、PyTorch以及Caffe了。他们各有所长,开发时可能会选定一个单独的平台,但是在应用时就需要考虑其他的因素。重新在其他框架上改代码就变得比较麻烦,如果能把模型直接转换好,更重要的是不同平台效果相同,那就会节省很多时间。MMdnn就是这样的一个模型转换工具,而且是微软出品...原创 2019-06-03 17:13:25 · 4359 阅读 · 4 评论