《深度学习——实战caffe》——初识数据可视化

最新推荐文章于 2021-06-04 19:04:49 发布
最新推荐文章于 2021-06-04 19:04:49 发布
阅读量402 收藏
点赞数
分类专栏： caffe 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33144323/article/details/80585944
版权

首先将caffe的根目录作为当前目录，然后加载caffe程序自带的小猫图片，并显示。

图片大小为360x480，三通道

import numpy as np
import matplotlib.pyplot as plt  #matplotlib inline
import caffe
caffe_root='/caffe/'
import os,sys
os.chdir(caffe_root)
sys.path.insert(0,caffe_root+'python')
im = caffe.io.load_image('examples/images/cat.jpg')
print(im.shape)
plt.imshow(im)
plt.axis('off')
plt.show()


打开examples/net_surgery/conv.prototxt文件，修改两个地方

一是将input_shape由原来的是（1，1，100，100）修改为(1,3,100,100),即由单通道灰度图变为三通道彩色图。

二是将过滤器个数(num_output)由3修改为16，多增加一些filter, 当然保持原来的数不变也行。

其它地方不变，修改后的prototxt如下：只有一个卷积层

# Simple single-layer network to showcase editing model parameters.
name: "convolution"
input: "data"
input_shape {
  dim: 1
  dim: 3
  dim: 100
  dim: 100
}
layer {
  name: "conv"
  type: "Convolution"
  bottom: "data"
  top: "conv"
  convolution_param {
    num_output: 16
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}

将图片数据加载到blobs，但反过来，我们也可以反过来从blob中提取出原始数据，并进行显示。

显示的时候要注意各维的顺序，如blobs的顺序是(1,3,360,480),从前往后分别表示1张图片，3三个通道，

图片大小为360x480，需要调用transpose改变为(360,480,3)才能正常显示。

其中用data[0]表示第一张图片，下标从0开始，此例只有一张图片，因此只能是data[0].

分别用data[0,0],data[0,1]和data[0,2]表示该图片的三个通道。

import numpy as np
import matplotlib.pyplot as plt  #matplotlib inline
import caffe
caffe_root='/caffe/'
import os,sys
os.chdir(caffe_root)
sys.path.insert(0,caffe_root+'python')
im = caffe.io.load_image('examples/images/cat.jpg')
net = caffe.Net('examples/net_surgery/conv.prototxt', caffe.TEST)
im_input=im[np.newaxis,:,:,:].transpose(0,3,1,2)
print("data-blobs:",im_input.shape)
net.blobs['data'].reshape(*im_input.shape)
net.blobs['data'].data[...] = im_input
plt.imshow(net.blobs['data'].data[0].transpose(1,2,0))
plt.axis('off')
plt.show()
结果如下： 
WARNING: Logging before InitGoogleLogging() is written to STDERR
I0608 17:05:22.288508 12163 net.cpp:51] Initializing net from parameters: 
name: "convolution"
state {
  phase: TEST
  level: 0
}
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param {
    shape {
      dim: 1
      dim: 3
      dim: 100
      dim: 100
    }
  }
data-blobs: (1, 3, 360, 480)
}
layer {
  name: "conv"
  type: "Convolution"
  bottom: "data"
  top: "conv"
  convolution_param {
    num_output: 16
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
I0608 17:05:22.288563 12163 layer_factory.hpp:77] Creating layer data
I0608 17:05:22.288576 12163 net.cpp:84] Creating Layer data
I0608 17:05:22.288585 12163 net.cpp:380] data -> data
I0608 17:05:22.288609 12163 net.cpp:122] Setting up data
I0608 17:05:22.288622 12163 net.cpp:129] Top shape: 1 3 100 100 (30000)
I0608 17:05:22.288630 12163 net.cpp:137] Memory required for data: 120000
I0608 17:05:22.288635 12163 layer_factory.hpp:77] Creating layer conv
I0608 17:05:22.288820 12163 net.cpp:84] Creating Layer conv
I0608 17:05:22.288830 12163 net.cpp:406] conv <- data
I0608 17:05:22.288841 12163 net.cpp:380] conv -> conv
I0608 17:05:22.289319 12163 net.cpp:122] Setting up conv
I0608 17:05:22.289333 12163 net.cpp:129] Top shape: 1 16 96 96 (147456)
I0608 17:05:22.289340 12163 net.cpp:137] Memory required for data: 709824
I0608 17:05:22.289360 12163 net.cpp:200] conv does not need backward computation.
I0608 17:05:22.289366 12163 net.cpp:200] data does not need backward computation.
I0608 17:05:22.289372 12163 net.cpp:242] This network produces output conv
I0608 17:05:22.289381 12163 net.cpp:255] Network initialization done.

编写一个show_data函数来显示数据,从blobs数据中将原始图片提取出来，并分别显示不同的通道图 
import numpy as np
import matplotlib.pyplot as plt  #matplotlib inline
import caffe
caffe_root='/caffe/'
import os,sys


def show_data(data, head, padsize=1, padval=0):
    data -= data.min()
    data /= data.max()

    # force the number of filters to be square
    n = int(np.ceil(np.sqrt(data.shape[0])))
    padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
    data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))

    # tile the filters into an image
    data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
    data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
    plt.figure()
    plt.title(head)
    plt.imshow(data)
    plt.axis('off')

if __name__ == '__main__':
    os.chdir(caffe_root)
    sys.path.insert(0, caffe_root + 'python')
    im = caffe.io.load_image('examples/images/cat.jpg')
    net = caffe.Net('examples/net_surgery/conv.prototxt', caffe.TEST)
    im_input = im[np.newaxis, :, :, :].transpose(0, 3, 1, 2)
    net.blobs['data'].reshape(*im_input.shape)
    net.blobs['data'].data[...] = im_input
    plt.rcParams['image.cmap'] = 'gray'
    print("data-blobs:", net.blobs['data'].data.shape)
    show_data(net.blobs['data'].data[0], 'origin images')
    plt.show()
结果如下： 
data-blobs: (1, 3, 360, 480)
WARNING: Logging before InitGoogleLogging() is written to STDERR
I0608 17:15:34.040977 12859 net.cpp:51] Initializing net from parameters: 
name: "convolution"
state {
  phase: TEST
  level: 0
}
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param {
    shape {
      dim: 1
      dim: 3
      dim: 100
      dim: 100
    }
  }
}
layer {
  name: "conv"
  type: "Convolution"
  bottom: "data"
  top: "conv"
  convolution_param {
    num_output: 16
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
I0608 17:15:34.041028 12859 layer_factory.hpp:77] Creating layer data
I0608 17:15:34.041043 12859 net.cpp:84] Creating Layer data
I0608 17:15:34.041051 12859 net.cpp:380] data -> data
I0608 17:15:34.041075 12859 net.cpp:122] Setting up data
I0608 17:15:34.041090 12859 net.cpp:129] Top shape: 1 3 100 100 (30000)
I0608 17:15:34.041095 12859 net.cpp:137] Memory required for data: 120000
I0608 17:15:34.041102 12859 layer_factory.hpp:77] Creating layer conv
I0608 17:15:34.041116 12859 net.cpp:84] Creating Layer conv
I0608 17:15:34.041123 12859 net.cpp:406] conv <- data
I0608 17:15:34.041134 12859 net.cpp:380] conv -> conv
I0608 17:15:34.041601 12859 net.cpp:122] Setting up conv
I0608 17:15:34.041615 12859 net.cpp:129] Top shape: 1 16 96 96 (147456)
I0608 17:15:34.041620 12859 net.cpp:137] Memory required for data: 709824
I0608 17:15:34.041640 12859 net.cpp:200] conv does not need backward computation.
I0608 17:15:34.041647 12859 net.cpp:200] data does not need backward computation.
I0608 17:15:34.041653 12859 net.cpp:242] This network produces output conv
I0608 17:15:34.041661 12859 net.cpp:255] Network initialization done.

调用forward()执行卷积操作，blobs数据发生改变。由原来的(1,3,360,480)变为（1，16，356，476）。

并初始化生成了相应的权值，权值数据为(16,3,5,5)。

最后调用两次show_data来分别显示权值和卷积过滤后的16通道图片。

import numpy as np
import matplotlib.pyplot as plt  #matplotlib inline
import caffe
caffe_root='/caffe/'
import os,sys


def show_data(data, head, padsize=1, padval=0):
    data -= data.min()
    data /= data.max()

    # force the number of filters to be square
    n = int(np.ceil(np.sqrt(data.shape[0])))
    padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
    data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))

    # tile the filters into an image
    data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
    data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])
    plt.figure()
    plt.title(head)
    plt.imshow(data)
    plt.axis('off')

if __name__ == '__main__':
    os.chdir(caffe_root)
    sys.path.insert(0, caffe_root + 'python')
    im = caffe.io.load_image('examples/images/cat.jpg')
    net = caffe.Net('examples/net_surgery/conv.prototxt', caffe.TEST)
    im_input = im[np.newaxis, :, :, :].transpose(0, 3, 1, 2)
    net.blobs['data'].reshape(*im_input.shape)
    net.blobs['data'].data[...] = im_input
    plt.rcParams['image.cmap'] = 'gray'
    net.forward()
    print("data-blobs:", net.blobs['data'].data.shape)
    print("conv-blobs:", net.blobs['conv'].data.shape)
    print("weight-blobs:", net.params['conv'][0].data.shape)
    show_data(net.params['conv'][0].data[:, 0], 'conv weights(filter)')
    show_data(net.blobs['conv'].data[0], 'post-conv images')
    plt.show()
结果如下： 
WARNING: Logging before InitGoogleLogging() is written to STDERR
I0608 19:44:21.352882 20892 net.cpp:51] Initializing net from parameters: 
name: "convolution"
state {
  phase: TEST
  level: 0
}
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param {
    shape {
      dim: 1
      dim: 3
      dim: 100
      dim: 100
    }
  }
}
layer {
  name: "conv"
  type: "Convolution"
  bottom: "data"
  top: "conv"
  convolution_param {
    num_output: 16
    kernel_size: 5
    stride: 1
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
I0608 19:44:21.352941 20892 layer_factory.hpp:77] Creating layer data
I0608 19:44:21.352958 20892 net.cpp:84] Creating Layer data
I0608 19:44:21.352969 20892 net.cpp:380] data -> data
I0608 19:44:21.352996 20892 net.cpp:122] Setting up data
I0608 19:44:21.353011 20892 net.cpp:129] Top shape: 1 3 100 100 (30000)
I0608 19:44:21.353018 20892 net.cpp:137] Memory required for data: 120000
I0608 19:44:21.353026 20892 layer_factory.hpp:77] Creating layer conv
I0608 19:44:21.353044 20892 net.cpp:84] Creating Layer conv
I0608 19:44:21.353052 20892 net.cpp:406] conv <- data
I0608 19:44:21.353065 20892 net.cpp:380] conv -> conv
I0608 19:44:21.353521 20892 net.cpp:122] Setting up conv
I0608 19:44:21.353538 20892 net.cpp:129] Top shape: 1 16 96 96 (147456)
I0608 19:44:21.353545 20892 net.cpp:137] Memory required for data: 709824
I0608 19:44:21.353565 20892 net.cpp:200] conv does not need backward computation.
I0608 19:44:21.353574 20892 net.cpp:200] data does not need backward computation.
I0608 19:44:21.353581 20892 net.cpp:242] This network produces output conv
I0608 19:44:21.353590 20892 net.cpp:255] Network initialization done.
data-blobs: (1, 3, 360, 480)
conv-blobs: (1, 16, 356, 476)
weight-blobs: (16, 3, 5, 5)




频率52HZ
关注
专栏目录
一文搞定深度学习中的数据可视化
TEDDY的博客
04-15 694
【AI白身境】深度学习中的数据可视化 - 知乎 https://zhuanlan.zhihu.com/p/55422235
《深度学习——实战caffe》——caffe模型
IT人生
04-18 1594
一个完整的深度学习系统最核心的两个方面是数据和模型。 　　深度学习模型通常由三部分参数组成：可学习参数（Learnable Parameter）,又称可训练参数、神经网络权系数、权重，其数值由模型初始化参数、误差反向传播过程控制，一般不可人工干预。结构参数（Archetecture Parameter），包括卷积层、全连接层、下采样层数目、卷积核数目、卷积核大小等描述网络结构参数，一旦设定好，网络...
Caffe学习系列(14)：初识数据可视化
qq_26569761的博客
04-07 676
首先将caffe的根目录作为当前目录，然后加载caffe程序自带的小猫图片，并显示。 图片大小为360x480，三通道 In [1]: import numpy as np import matplotlib.pyplot as plt %matplotlib inline import caffe caffe_root='/home/xxx/caff
【AI白身境】深度学习中的数据可视化
hacker_long的专栏
01-22 857
今天是新专栏《AI白身境》的第八篇，所谓白身，就是什么都不会，还没有进入角色。上一节我们已经讲述了如何用爬虫爬取数据，那爬取完数据之后就应该是进行处理了，一个很常用的手段...
caffe下数据可视化
cc的博客
04-05 1012
本文主要学习caffe官网例子Classification: Instant Recognition with Caffe，采用ｃａｆｆｅ数据可视化的总结． 其主要过程包括： １）　定义图像窗口属性 ２）　下载caffe模型，调用caffe.Net网络载入模型配置，模型权值，模型测试 ３）　数据转化，变换通道，去除均值，变换尺寸，变换rgb．．． ４）　定义输入图像大小批次，载入
Visualizing Representations: Deep Learning and Human Beings 简单翻译（数据可视化：深度学习和人类）（未完）
萌萌小七的专栏
02-06 2027
最近在学习NLP相关内容， 学到Visualizing Representations部分的时候，老师推荐读这篇文章。本文介绍了比较新的，而且实用的高维数据可视化方法，并且包含一些例子，里面没有太多的公式和算法，浅显易懂，适合入门的朋友阅读。 本文于2015年1月26日发表于colah的github博客，原文链接：http://colah.github.io/posts/2015-01-Visu
深度学习_21天实战Caffe+Caffe之经典模型详解与实战 (pdf文件 带书签)
04-11
《深度学习：21天实战Caffe+Caffe之经典模型详解与实战》是一本专注于Caffe框架的深度学习实践指南，旨在帮助读者快速掌握Caffe并应用到实际项目中。Caffe是目前广泛使用的深度学习库之一，以其高效、易用和模块化的...
《深度学习——实战caffe》——绘制loss和accuracy曲线
IT人生
06-10 3367
如果不需要绘制曲线，只需要训练出一个caffemodel, 直接调用solver.solve()就可以了。如果要绘制曲线，就需要把迭代过程中的值保存下来，因此不能直接调用solver.solve(), 需要迭代。在迭代过程中，每迭代200次测试一次#加载必要的库 import numpy as np import matplotlib.pyplot as plt #matplotlib inl...
深度学习21天实战Caffe完整版
01-20
《深度学习21天实战Caffe完整版》是一本针对深度学习框架Caffe精心编写的实战教程，旨在帮助初学者快速掌握Caffe的核心概念、基本使用方法以及实践技巧。Caffe，全称为Convolutional Architecture for Fast Feature ...
tf好朋友之matplotlib的使用——legend图例的设置
Bubbliiiing的学习小课堂
08-27 2766
tf好朋友之matplotlib的使用（图例的设置）图例设置常用函数及其作用plt.legend()应用示例 图例设置常用函数及其作用 plt.legend() plt.legend( *args, **kwargs) 其中**kwargs包含常用的参数： 1、loc:图例位置，可取：‘best’、 ‘upper right’、‘upper left’、‘lower left’、‘lower...
caffe学习笔记——数据可视化
wanty_chen的博客
05-07 302
运用anaconda中的Spyder编译器，实现以下功能：（1）将caffe的根目录作为当前目录，然后加载caffe程序自带的小猫图片，并显示。在命令行窗口输入如下代码：import numpy as np import matplotlib.pyplot as plt %matplotlib inline import caffe caffe_root='D:/caffe/caffe-maste...
《深度学习——实战caffe》——数据可视化环境（python接口)配置
IT人生
06-04 235
这个之前写过了，之前的学习不系统这次跟着徐老师的步骤系统地过一遍：之前博文地址：https://blog.csdn.net/qq_33144323/article/details/80042319
【Tensorflow_DL_Note3】深度学习中的数据处理及其可视化
maweifei的博客
04-17 396
#coding=UTF-8 #======================================================================================================================= #文件说明： # Python数据类库的使用---数据的处理及其Python数据可视化编程的实战 #开发环境: # ...
【Caffe】数据可视化
谢军的博客
12-02 870
本笔记记录Caffe数据可视化学习过程！
《深度学习——实战caffe》——caffe可视化方法python版
IT人生
04-22 553
（python3.6.4+caffe+pycharm）一、数据可视化1、mnist数据可视化      1）、训练样本可视化      首先要打开pycharm      新建python文件1.py，代码输入： # -*- coding: utf-8 -* import numpy as np import struct from PIL import Image import os dat...
【深度学习】深度学习可视化
py今天刷题了吗
06-04 176
学习笔记（二）CAM热图
Caffe学习笔记（1）：简单的数据可视化
qq_21089969的博客
03-22 2011
caffe的底层是c++写的，如果要进行数据可视化，需要借助其它的库或者是接口，如opencv,python或者是matlab，python的环境需要自行配置，因为我使用的都是网管同志已经配置好的深度学习服务器，所以不用管底层的一些配置问题，如果需要自行配置自己的机器，请参照： http://www.cnblogs.com/denny402/p/5088399.html当前目录为caffe的根目录
caffe 17 win10 caffe 数据可视化
一朵花开的时间
03-23 1087
本练习代码源自《深度学习21天实战caffe》01 mnist 数据可视化*本练习上接 [caffe 04 win10 运行examples的mnist测试用例] (http://blog.csdn.net/longji/article/details/61446478)* 一定要注意需要为matlab设置环境，在path环境变量中加入：D:\git\DeepLearning\caffe\b
Caffe中层参数及数据的可视化
Lefenger
08-06 738
本文将讲解如何可视化caffe网络中的层的参数及数据，即只要输入的规格为(n, height, width）或(n, height, width, 3)都可以通过如下函数可视化。 def vis_square(data): “”“Take an array of shape (n, height, width) or (n, height, width, 3)
深度学习实战：Caffe模型转换与调用解析
"本文主要分析了深度学习的实用方法，特别是围绕Caffe框架进行讨论，包括CuDNN的安装与使用、数据转换成lmdb格式、模型训练与测试，以及如何在OpenCV中加载和使用深度学习模型。" 深度学习使用浅析： 深度学习是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值