遍地流金-CSDN博客

原创 tensorflow学习（一）tensorflow-GPU安装（Driver375.26+CUDA8.0.61+CUDNN5.1）

关键词： GTX1080，Ubuntu14.04，Tensorflow-0.11.0-gpu，driver375.26，cuda8.0，cudnn5.1首先理解调用关系，然后就能理解各个工具的版本依赖关系(tensorflow->cudnn->cdua->driver) 今天时间为2017/03/04，此时nvidia官网上能下载的cuda8.0工具箱为cuda_8.0.61_375.26_li

2017-03-12 09:43:42 4455

原创 python-numpy常见ndarray操作

注意numpy里有两种数据类型，ndarray和matrix，一般用ndarray，要用到矩阵的乘除法时再用matrix。ndarray里的数学运算默认为点乘！1.array初始化a = np.array([[1,2,3],[2,3,4]]) a = np.zeros([3,2]) a = np.arange(0,10,2) # 产生0到10（不包括10）之间的步长为2的等差数列, a = n

2017-03-12 09:32:17 19808

原创机器学习（四）从信息论交叉熵的角度看softmax/逻辑回归损失

机器学习中会常见到softmaxLoss，逻辑回归损失（或者叫交叉熵损失），这两种损失的来源可以由两方面考虑，一方面可以看做是来源于概率论中的极大似然估计，此部分可参见机器学习（二），另一方面可以看做是来源于信息论中的交叉熵损失。本文主要从信息论中交叉熵的角度来解读这两种损失的由来。softmax损失与逻辑回归损失的来源交叉熵的定义信息量：事件X=x0的信息量为I(X0)=−log(p(x0))

2017-03-10 19:53:57 6398

原创 Caffe学习（十）protobuf及caffe.proto解析

使用protobuf的原由一个好的软件框架应该要有明确的输入和输出，对于CNN网络而言，其主要有两部分组成：网络具体结构和网络的具体优化算法及参数。对于框架的使用者而言，用户只需输入两个描述文件即可得到对该网络的优化结果，这无疑是非常方便的。caffe框架选择使用谷歌的开源protobuf工具对这两部分进行描述，解析和存储，这一部分为caffe的实现节省了大量的代码。如前面讲述的目标检测demo，p

2016-12-30 17:01:18 7597 1

原创 github新建项目入门

新建一个github账号不赘述采用ssh远程登陆github由于采用ssh登陆时需要验证，因此需要现在本机上生成密钥验证码，然后在github的账户中添加该密码即可1.终端上创建ssh的密钥：打开终端检测是否存在ssh：命令cd ~/.ssh 如果存在，先将已有的ssh备份，或者将新建的ssh生成到另外的目录下如果不存在，通过默认的参数直接生成ssh>>>ssh-keygen -t rsa -

2016-11-30 19:49:13 561

转载 Cython三分钟入门

作者：perrygeo译者：赖勇浩（http://laiyonghao.com）原文：http://www.perrygeo.net/wordpress/?p=116我最喜欢的是Python，它的代码优雅而实用，可惜纯粹从速度上来看它比大多数语言都要慢。大多数人也认为的速度和易于使用是两极对立的——编写C代码的确非常痛苦。而 Cython 试图消除这种两重性，并让你同时拥有 Python 的语法和

2016-11-24 21:48:46 945

原创 Caffe学习（九）使用Nsight Eclipse调试py-faster-rcnn（C++/python混合代码调试）

实验目的由于py-faster-rcnn均采用的是python接口，但是在内部调用了caffe的C++共享库_caffe.so，若想要搞清楚数据在网络中的具体流向，就必须要能够联合调试python和C++的混合代码，本文讲述如何使用Nsight实现这种功能。软件版本说明Nsight Eclipse版本：Nsight Version 8.0，对应的Eclipse版本为Juno，Eclipse 4.2

2016-10-31 16:44:57 4330 8

原创 linux C编程（五）函数指针与函数调用

函数指针函数指针，首先是一个指针，只不过该指针指向的是函数，而不是变量。#include <stdio.h>int max(int x,int y){ return (x>y)?x:y;}int main(){ int i = 0; int (*f)(int x,int y) = max;//定义函数指针并初始化 //f = max;f = &max;也可使用这两种方式进行初

2016-08-25 22:45:50 4366

原创 linux C编程（四）int占用字节数/大小端模式/数据类型自动转换/结构体内存占用

数据类型占用字节数首先强调，不同数据类型的内存占用大小不固定，与编译器有关，与CPU的位数和操作系统的位数无关。但编译器仍然受CPU的字长影响。具体常用的标准如下： type 32字长 64字长 char 8 8 short 16 16 int 32 32 long 64 64 pointer 32 64对于16位或者8位的单片

2016-08-25 17:54:08 2588

原创 linux C编程（三）ANSI C中的类型限定词（const/volatile/restrict）

由第二节我们知道，一个变量有两种属性来描述，一种为数据类型（如int，char等），一种为存储属性（包括作用域，链接属性，生存周期属性，由static和变量声明的地方决定）。C90标准增加了两个属性：不变性和易变性，C99标准增加了1个属性：restrict属性，用于编译器优化。另外，C99中规定类型限定符是幂等的，也即意味着可以在一个声明中不止一次的使用同意限定词，多余的将被忽略如下面两种使

2016-08-24 22:40:12 944

原创 linux C编程（二）数据与函数的存储类型和内存管理

变量的存储类型变量的存储类型主要定义了变量的作用域，连接属性，存储属性。存储属性作用域表示该变量可以被使用的区域。分为代码块作用域，函数原型作用域，文件作用域。如对于下面的一个main.c而言，var_ file作用域为整个文件main.c，var_ function作用域为main函数，var _code _block作用域仅为for循环的{}中。作用域不重合的两个变量可以重名。#includ

2016-08-24 13:58:50 673

原创 Caffe学习（八）运行py-faster-RCNN

1.下载py-faster-RCNN源码git clone --recursive https://github.com/rbgirshick/py-faster-rcnn2.编译lib库cd $FRCN_ROOT/libmake3.编译caffe这部分的caffe编译与以前讲述的基本一致，不同的是makefile.config的修改部分，使支持用python定义layer# In your Ma

2016-08-23 10:43:41 4706 2

原创深度学习（一）深度学习的发展历史

本次深度学习系列主要从以下几个方面记录，主要为CNN相关另外最后会专留一章讲述CNN与计算机视觉中的目标检测的发展。∙\bullet发展历史 ∙\bullet基础结构 ∙\bullet损失函数 ∙\bullet优化方法 ∙\bullet训练trick学习任一门知识都应该先从其历史开始，把握了历史，也就抓住了现在与未来 ———by BryantLJ首先盗一张图（来自于“深度学习大讲堂”微

2016-08-19 17:19:06 53160 8

原创 Caffe学习（七）激活函数

激活函数的起源是希望该函数能够对神经元进行建模，进而起到对输入的数据进行非线性响应的过程。常用的激活函数激活函数应该具有的性质：（1）非线性。线性激活层对于深层神经网络没有作用，因为其作用以后仍然是输入的各种线性变换。。（2）连续可微。梯度下降法的要求。（3）范围最好不饱和，当有饱和的区间段时，若系统优化进入到该段，梯度近似为0，网络的学习就会停止。（4）单调性，当激活函数是单调时，

2016-08-09 20:26:41 4298

原创机器学习（三）Loss函数优化：梯度下降法

线性回归，逻辑回归，Softmax分类器，LinearSVM等算法都能够简单的分解成scoreFunction的设计与LossFunction的求解两部分，具体分解如下表所示： ClassifierName ScoreFunction LossFunction LinearSVM s=WTXs=W^{T}X L=max(0,1−s)L=max(0,1-s) LinearRe

2016-08-09 15:21:56 10099 1

原创机器学习（二）广义线性模型：逻辑回归与Softmax分类

本文主要从概率论及广义线性模型的角度来谈线性回归，逻辑分类，Softmax分类三种常用学习方法的来源，基本假设及适用场景。一.狭义线性模型及求解狭义线性模型针对典型的回归问题问题描述：给定一组训练样本（xi,yi）,i∈(1,M)（x_{i},y_{i}）,i\in(1,M)，其中xix_{i}为N维列向量，yiy_{i}为实数，M为训练样本个数。要求对于新输入的xx，预测出合理的yy。模型

2016-08-08 17:56:19 3590

原创 Caffe学习（六）损失层及其参数设置

机器学习的目的就是通过对训练样本输出与真实值不一致的进行惩罚，得到损失Loss，然后采用一定的优化算法对loss进行最小优化，进而得到合理的网络权值。本文介绍Caffe中含有的常见的LossLayer及其参数设置方法Caffe的LossLayer主要由6个：（1）ContrastiveLossLayer对比损失函数主要用来训练siamese网络，改网络为专门处理同时输入两张图像的网

2016-08-07 19:29:19 16839 4

原创 Caffe学习（五）视觉层及其设置

Caffe源码里自带的VisionLayer有三种：（1）ConvlutionLayer（2）PoolingLayer（3）LocalResponseNormalizationLayer前两种在（四）的实例中有过介绍，这里主要讲述第三种LRN，来源于2012AlexNet的局部归一化层。AlexNet认为，LRN层模仿生物神经系统的侧抑制机制，对局部神经元的活动创建竞争机制，使得响

2016-08-07 11:44:23 1706

原创 Caffe学习（四）数据层及参数设置

caffe的各种数据层在caffe.proto文件中有定义。通过对定义的caffe.proto文件进行编译，产生支持各种层操作的c++代码。后面将会详细解读caffe.proto文件（在caffe里就是当做一个自动代码生成工具来用）。本文主要介绍caffe可以读入数据的各种格式，方便后面采用caffe训练自己的数据数据的来源主要有以下几种：（1）高效的数据库（LevelDB或者LM

2016-08-06 08:40:24 41680 5

原创 Caffe学习（三）Caffe模型的结构

一总体结构在caffe中，解决一个问题首先应该定义一个slover，反应到mnist例程中也就是lenet_solver.prototxt。该slover主要包括两部分，（1）为网络模型model，（2）为该模型参数的具体optimization方法及参数。model主要由各种layer组成，主要包括数据相关的DataLayer，图像滤波变换相关的VisionLayer，非线性激活函数Acti

2016-08-05 19:42:26 2394

原创机器学习（一）机器学习概论

机器学习通过适当的学习方法，进而能够对于新数据进行分类和预测。一.机器学习按学习方法分类监督，非监督，半监督，强化二.监督式统计机器学习要素假设：要训练和预测的同类数据有固定的统计规律，且满足独立同分布的条件。统计学习的目的就是先对输入输出数据进行一定的模型/概率假设，然后从训练数据中学习输入输出的概率分布，进而能够利用该模型对新的未知数据进行预测1.模

2016-08-04 16:57:20 1104

原创 Caffe学习（二）Mnist手写数字识别测试与分析

学习caffe，从弄清楚第一个例程开始～～～首先进入caffe安装的根目录，cd CAFFE_ROOT，以下所有操作都是默认在该目录下。1. 获取mnist数据集bryant@bryant:~/caffe$ ./data/mnist/get_mnist.sh下载以后即可在data/mnist文件夹下得到四组数据，分别是训练集的图像和标签，测试集的图像和标签

2016-08-04 08:46:49 2554

原创 linux C编程（一）gcc的用法

linux下编程离不开gcc，因此本文现重点讲述gcc的用法。gcc，全称：GNU Compile Collection，是一组编译器集合，可以编译c，c++，object-c等1.g++与gcc的区别g++等效于 gcc -xc++ -lstdc++ -share-libgcc其中-x选项是指定编译器的编译语言，由上述等价关系可知，gcc对于不同的文件，2.

2016-08-03 16:36:15 1169

原创 Caffe学习（一）Caffe+ubuntu14.04+Cuda8.0安装

硬件配置：i76700K + GTX1080 + 32G 2400MHz RAM + 250G SSD1. ubuntu14.04安装刚装完以后系统有可能卡顿非常明显，此时是因为显卡驱动没有安装。2. GTX1080显卡驱动367.35安装Sudo apt-get update##更新源sudo add-apt-repository ppa:graphics

2016-08-03 13:17:05 13759 1

BryantLJ学习的地方