2017年12月_This is bill

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 [work]pytorch win10 安装

创建虚拟环境conda create -n pytorch python=3.5 numpy pyyaml mkl

2017-12-31 19:03:49 674

本文系转载，出处：关于 PyTorch 0.3.0 在Windows下的安装和使用。PyTorch简介在2017年1月18日，facebook下的Torch7团队宣布PyTorch开源后就引来了剧烈的反响。PyTorch 是 Torch 在 Python 上的衍生版本。Torch 是一个使用 Lua 语言的神经网络库, Torch 很好用, 但是 Lua 流行度不够, 所以facebook开发团队

2017-12-31 17:31:51 907

转载 Win10 Python3.6下安装PyTorch

更新提醒：本文已过期，Windows下安装最新的PyTorch0.3.0请移步本人另一篇博客：Windows下安装PyTorch0.3.0。2017年1月18日，周董生日这一天，facebook下的torch7团队宣布Pytorch开源，官网地址：pytorch。pytorch是一个python优先的深度学习框架，是一个和tensorflow，Caffe，MXnet一样，非常底层的框架。先说下py

2017-12-31 17:30:43 855

转载 caffe slice和concat实现MultiTask

最近一段时间MultiTask网络比较流行，比如做人脸检测的时候，一个网络完成（人脸和非人脸）二分类任务的同时也要进行boudingbox回归或者人脸关键点回归。以人脸检测MTCNN为例，一个网络包含三个任务。训练的时候，一个batch中的图片，一部分用于二分类、一部分用于boundingbox 回归，一部分用于关键点回归。这种较复杂的样本组合完全可以通过slice和concat层来快速实现。——

2017-12-22 11:34:23 595

原创 Hinge Loss

Hinge Loss简介Hinge Loss是一种目标函数（或者说损失函数）的名称，有的时候又叫做max-margin objective。其最著名的应用是作为SVM的目标函数。其二分类情况下，公式如下： l(y)=max(0,1−t⋅y)其中，y是raw输出预测值，t为目标值（±1）。变种实际应用中，一方面很多时候我们的y的值域并不是[-1,1]，比如我们可能更希望y更接近于一个概率，即其值域最

2017-12-22 11:23:28 799

转载 caffe基本数据结构---blob

Caffe使用blob存储、交换、操纵这些信息。blob是整个框架的标准的数组结构和统一存储接口。Blob是Caffe处理和传输的真实数据的包装类，同时它还隐含提供了在CPU和GPU之间同步数据的能力。在数学上，一个blob就是一个4维的数组，它是按照c语言风格存储的，即行优先。由于我们经常对blob的值和梯度感兴趣，所以blob存储了２块data和diff.前者是正常的传输数据，后者是网络计算的

2017-12-22 11:16:26 733

转载 caffe SigmoidCrossEntropyLossLayer 理论代码学习

交叉熵损失函数交叉熵损失函数的简单介绍的链接下面我们就介绍一下caffe里面实现交叉熵的流程：首先：下面这个式子就是交叉熵的损失表达式 E=−1n∑n=1n[pnlogp^n+(1−pn)log(1−p^n)]SigmoidCrossEntropyLossLayer的输入bottom[0]，bottom[1]，其中bottom[0]是输入的预测的结果，bottom[1]是标签值。bottom的

2017-12-22 11:09:58 607

转载 Caffe loss

经过这一通训练，总算可以得到相应的模型了（具体操作网上已经烂大街了），我们要是修改caffe参数，甚至是修改caffe内部程序，必须是以输出结果为动力，现在我们就看看我们关心的caffe输出都有哪些，虽然每一层都可以输出，但是我们最关心的有Loss层。深度学习就是通过最小化输出和目标的Loss来驱动的。值得注意的是：以mnist为例，我们所得到的ip2层已经是我们预测（

2017-12-22 10:48:48 401

转载 word2vec和word embedding有什么区别?

作者：Scofield链接：https://www.zhihu.com/question/53354714/answer/155313446来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。很好，正好可借此机会介绍词向量、word2vec以及DeepNLP整套相关的东西：文章很长，是从CSDN上写好复制过来的，亦可直接跳到博客观看：深度学习（Deep Learning）

2017-12-18 11:26:29 7784 2

转载为什么要做 word embedding

该篇主要是讨论为什么要做word embedding:gitbook阅读：Word Embedding介绍至于word embedding的详细训练方法在下一节描述。目录单词表达One hot representationDistributed representationWord embedding目的数据量角度神经网络分析训练简述单词表达先前在卷积神经网络的一节中，提到过图片是如何在计算机中被

2017-12-18 11:23:44 9729 9

转载 sparse coding VS autoencoder

Finding the differences can be done by looking at the models. Let's look at sparse coding first.Sparse codingSparse coding minimizes the objectiveLsc=||WH−X||22⏟reconstruction term+&#x03

2017-12-18 10:33:17 590

转载 Caffe Python接口

前言使用caffe也有一小段时间了，但是对于caffe的python接口总是一知半解，最近终于能静下心来，仔细阅读了caffe官方例程，并写下此博客。博文主要对caffe自带的分类例程00-classification.ipynb做了详细的注释，相信能加强这方面的理解。准备工作加载必要的库import numpy as np # 加载numpyimport matplotlib.pyplot a

2017-12-13 16:03:05 2031

转载 Caffe for Python 官方教程(翻译)

导言本教程中，我们将会利用Caffe官方提供的深度模型——CaffeNet（该模型是基于Krizhevsky等人的模型的）来演示图像识别与分类。我们将分别用CPU和GPU来进行演示，并对比其性能。然后深入探讨该模型的一些其它特征。1、准备工作 1.1 首先，安装Python，numpy以及matplotlib。 #安装Python环境、numpy、matplotlib

2017-12-13 14:45:41 956

转载 pycaffe使用

API 接口首先import pycaffe1前向后向操作,处理IO,可视化网络,模型求解,所有的模型数据和参数,这些内容都已经有了接口,因此可以读写.caffe.Net is the central interface for loading, configuring, and running models.caffe.Classifier and caffe.Detector provide

2017-12-13 14:42:59 530

转载 pycaffe的使用

caffe的官方完美的支持python语言的兼容，提供了pycaffe的接口。用起来很方便，首先来看一下最常用到的：caffe的一个程序跑完之后会在snapshot所指定的目录下产生一个后缀名为caffemodel的文件，这里存放的就是我们在训练网络的时候得到的每层的参数信息，具体访问由net.params['layerName'][0].data访问权重参数(num_filter,channel

2017-12-13 13:42:30 531

转载 python 读取并显示图片的两种方法

在 python 中除了用 opencv，也可以用 matplotlib 和 PIL 这两个库操作图片。本人偏爱 matpoltlib，因为它的语法更像 matlab。一、matplotlib1. 显示图片import matplotlib.pyplot as plt # plt 用于显示图片import matplotlib.image as mpimg # mpimg 用于读取图片impo

2017-12-13 13:36:55 1025

转载 Caffe各种层

Vision Layers1.1 卷积层(Convolution)类型：CONVOLUTION例子layers {name: "conv1"type: CONVOLUTIONbottom: "data"top: "conv1"blobs_lr: 1 # learning rate multiplier for the filtersblobs_lr: 2 #

2017-12-13 13:18:12 548

原创 caffe中的Accuracy

Caffe 中的 Accuracy 是precision，即：理解为你预测对的正例数，占预测正例总量的比率今天才偶然发现，caffe在计算Accuracy时，利用的是最后一个全链接层的输出（不带有acitvation function），比如：alexnet的train_val.prototxt、caffenet的train_val.prototxt下图是这两个网络训练配置文件（prototxt文

2017-12-13 12:58:47 5061

原创 [work]Windows下caffe安装详解(cpu+gpu+matcaffe+pycaffe)

本人上一篇博客专门针对 macaffe：http://blog.csdn.net/scythe666/article/details/78594438这篇针对macaffe 和 pycaffe需要准备的文件:1，VS2013，这个不再赘述2，Windows版的caffe，微软链接为 https://github.com/Microsoft/caffeBVLC官方链接为https://github....

2017-12-12 12:34:53 985

转载在caffe中绘制ROC曲线

最近正在学习caffe，发现上手还是比较容易的，很快就可以训练出自己的网络啦。可是当我想绘制ROC曲线来评价一下结果的时候，却发现在找不到一个明确的办法。在各大论坛逛了一圈也问了一圈，依旧是得不到解答，于是只好自己拼凑思路找办法了。首先要搞清楚画ROC曲线需要什么数据！这篇文章讲的很清楚啦，要画ROC曲线，需要一组FPR/TPR的值。而我们通过训练出来的分类器进行测试的时候，只能得到一组FPR

2017-12-12 12:29:46 1225 3

转载详解ROC/AUC计算过程

ROC和AUC定义ROC全称是“受试者工作特征”（Receiver Operating Characteristic）。ROC曲线的面积就是AUC（Area Under the Curve）。AUC用于衡量“二分类问题”机器学习算法性能（泛化能力）。Python中sklearn直接提供了用于计算ROC的函数[1]，下面就把函数背后的计算过程详细讲一下。计算ROC需要知道的关键概念首先，解释几个二分

2017-12-12 12:06:40 642

转载机器学习面试问题集

http://blog.csdn.net/u011239443/article/details/763602941 基础概念1.1 熵、联合熵、条件熵、交叉熵与相对熵的意义？交叉熵代价函数？1.2 归一化方法？1、线性函数归一化(Min-Max scaling) 线性函数将原始数据线性化的方法转换到[0 1]的范围，归一化公式如下： 2、0均值标准化(Z-score standardizatio

2017-12-12 12:00:34 1474

转载准确率召回率 F值 ROC AUC

准确率,召回率,F值,ROC,AUC 责任编辑：词汇网发表时间：2016-4-23 20:08:08 度量表1.准确率 (presion)p=TPTP+FP 理解为你预测对的正例数占你预测正例总量的比率，假设实际有90个正例，10个负例，你预测80(75+,5-)个正例，20(15+,5-)个负例实际上你的准确率为75/80=0.9375，但这个评价指标有什么问题呢，想想就知道，这里你并没

2017-12-12 11:59:08 686

转载 Caffe solver文件

solver.prototxt今天在做FCN实验的时候，发现solver.prototxt文件一直用的都是model里自带的，一直都对里面的参数不是很了解，所以今天认真学习了一下里面各个参数的意义。DL的任务中，几乎找不到解析解，所以将其转化为数学中的优化问题。sovler的主要作用就是交替调用前向传导和反向传导 (forward & backward) 来更新神经网络的连接权值，从而达到最小化l

2017-12-11 17:27:24 360

转载 Caffe学习：Loss

原文Loss（损失）与绝大多数的机器学习引擎一样，Caffe是由一个loss function（损失函数）驱动的。loss function也称为 error function，cost function或者objective function。loss function利用模型中的参数（比如模型中网络的weights-权重参数）运算得出一个（标量）结果，这个结果表明参数设置的badness，通过

2017-12-11 15:45:06 330

转载 caffe利用训练好的模型进行实际测试

前面的博客介绍了如何生成多label的训练数据，也介绍了测试时对图片处理需要注意的点，这篇博客就来介绍如何利用训练好的模型进行实际测试官方版demo如果按照前面我的博客使用PIL库生成数据(resize后插值结果不同)，就会和官方的demo不是很一致，因为它使用了skimag库进行resize，虽然都是双线性插值也会有差异。import numpy as npimport osimport s

2017-12-11 13:56:41 835

原创博客栏目代码

<div id="custom_column_20192024" class="panel"><ul class="panel_body"><ul><li><a target="_blank" href="http://wanghu.link" style="background-color:#30a4e6; border:medium none; color:#fff; display:bl

2017-12-11 13:00:13 474

转载 TensorFlow 之基于Inception V3的多标签分类 retrain

本文参考http://blog.csdn.net/Numeria/article/details/73604339 以及参考开源代码github链接: https://github.com/BartyzalRadek/Multi-label-Inception-net一、准备训练数据1.下载数据集本文采用南京大学开源的数据集(点击下载:http://lamda.nju.edu.cn/files/

2017-12-10 23:50:27 2366 2

转载 [work]pycharm配置virtual env

环境：win10 python2.7.10（64）在path中配置python环境D:\Develop\Python27\Scripts D:\Develop\Python27\安装virtualenvcmd>pip install virtualenv建立virtualenv进入一个希望创建虚拟python环境的文件夹下面 cmd>D:>cd virtualenv cmd>D:\virtuale

2017-12-10 23:29:42 2194

原创 [work]tensorflow Windows 安装

从官网转下来的教程Installing TensorFlow on WindowsThis guide explains how to install TensorFlow on Windows.Determine which TensorFlow to installYou must choose one of the following types of TensorFlow to insta

2017-12-10 17:49:37 452

转载利用Caffe做回归(regression)

2017-02-22，Update：鉴于这篇文章反馈很多，有部分读者照着这篇文章步骤的读者跑不通来咨询，因为这篇里代码是分散写的很容易漏掉步骤，如果完全按照文章是可以重现的，如果还是不能重现，有个简化后的例子，全部代码在这里：https://github.com/frombeijingwithlove/dlcv_for_beginners/tree/master/chap9按照README.md的

2017-12-09 00:18:11 537

转载 [work]caffe实现多label输入(修改源码版)

在我的上一篇博客中caffe实现多标签输入中，介绍了用把图像和label分来，各自做成lmdb，最后把label的lmdb用slice层分开，这篇博客介绍另一种修改源码的方法实现多label，比其他博客改动源码最少简介我们都知道ImageDataLayer是直接读取原图进行分类，它的label是单label，文件格式如下train.txt示例001.jpg 1002.jpg 2003.jpg

2017-12-09 00:17:22 455

转载 caffe实现多标签输入(multilabel、multitask)

caffe里自带的convert_imageset.cpp直接生成一个data和label都集成在Datum的lmdb(Datum数据结构见最后)，只能集成一个label。而我们平时遇到的分类问题可能会有多个label比如颜色，种类等。123目前网上有多种解决方法： 1. 修改caffe代码，步骤繁琐，但是对于理解代码有帮助 2. 加入多个data和label层作为输入，简单可行，但是需要准备

2017-12-09 00:16:50 373 5

原创 K80服务器安装tensorflow

一、文章来由caffe处理多标签数据不够方便，转投tf。dgx服务器自带tf docker，但是经常没有gpu用，还是需要自己装环境二、开始搭环境真心是个麻烦活，因为实验室服务器 permission 控制很死。。。。。。。（表示很奇葩），所以官网正常的安装方法都很难使用首先我尝试了 install from sources，但是要先装 bazel，已经装上了有需要升级，就暂时放弃了改用 virt

2017-12-08 23:15:52 1129

原创解压 .solitairetheme8 文件

解压方法$ cp cudnn-8.0-linux-x64-v5.1.solitairetheme8 cudnn-8.0-linux-x64-v5.1.tgz$ tar -xvf cudnn-8.0-linux-x64-v5.1.tgz

2017-12-08 20:44:02 12834 1

转载 caffe Sigmoid cross entropy loss 交叉熵损失函数

Sigmoid 交叉熵损失函数（Sigmoid Cross Entropy Loss）study(3) 关于激活函数以及loss function" title="caffe study(3) 关于激活函数以及loss function" style="box-sizing: border-box; border: 0px; vertical-align: middle; outline: 0px

2017-12-05 08:36:12 3540

转载交叉熵代价函数

本文是《Neural networks and deep learning》概览中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+

2017-12-05 08:35:01 434

转载 caffe SigmoidCrossEntropyLossLayer 理论代码学习

2017-12-05 08:34:20 723

转载 caffe多任务学习之多标签分类

最近在参加一个识别的竞赛，项目里涉及了许多类别的分类，原本打算一个大的类别训练一个分类模型，但是这样会比较麻烦，对于同一图片的分类会重复计算分类网络中的卷积层，浪费计算时间和效率。后来发现现在深度学习中的多任务学习可以实现多标签分类，所有的类别只需要训练一个分类模型就行，其不同属性的类别之间是共享卷积层的。我所有的项目开发都是基于caffe框架的，默认的，Caffe中的Data层只支持单维标签，不

2017-12-03 17:08:39 844

转载 caffe HDF5 Data

作者：hu magic链接：https://www.zhihu.com/question/53296707/answer/139641037来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。已经通过使用HDF5Data做输入，加入slice layer，构建五个小分类器解决了这个问题，效果也还可以。！！！如果有小伙伴遇到了类似的问题，又无从下手的话，私信我，我把

2017-12-03 17:07:50 508