CAFFE 参数可视化

说明 :本文转自 http://www.cnblogs.com/denny402/p/5103425.html

通过前面的学习,我们已经能够正常训练各种数据了。设置好solver.prototxt后,我们可以把训练好的模型保存起来,如lenet_iter_10000.caffemodel。 训练多少次就自动保存一下,这个是通过snapshot进行设置的,保存文件的路径及文件名前缀是由snapshot_prefix来设定的。这个文件里面存放的就是各层的参数,即net.params,里面没有数据(net.blobs)。顺带还生成了一个相应的solverstate文件,这个和caffemodel差不多,但它多了一些数据,如模型名称、当前迭代次数等。两者的功能不一样,训练完后保存起来的caffemodel,是在测试阶段用来分类的,而solverstate是用来恢复训练的,防止意外终止而保存的快照(有点像断点续传的感觉)。

既然我们知道了caffemodel里面保存的就是模型各层的参数,因此我们可以把这些参数提取出来,进行可视化,看一看究竟长什么样。

 

我们先训练cifar10数据(mnist也可以),迭代10000次,然后将训练好的 model保存起来,名称为my_iter_10000.caffemodel,然后使用jupyter notebook 来进行可视化。

在此顺便问一下各位大牛:如何在cnblogs中,发表jupyter notebook生成的文章?

       首先,导入必要的库
In [1]:
import numpy as np
import matplotlib.pyplot as plt
import os,sys,caffe
%matplotlib inline
In [2]:
caffe_root='/home/lee/caffe/'
os.chdir(caffe_root)
sys.path.insert(0,caffe_root+'python')
In [3]:
plt.rcParams['figure.figsize'] = (8, 8)
plt.rcParams['image.interpolation'] = 'nearest'
plt.rcParams['image.cmap'] = 'gray'
       设置网络模型,并显示该模型中各层名称和参数的规模(注意此处是net.params, 而不是net.blobs)
In [4]:
net = caffe.Net(caffe_root + 'examples/cifar10/cifar10_full.prototxt',
                caffe_root + 'examples/cifar10/my_iter_10000.caffemodel',
                caffe.TEST)
[(k, v[0].data.shape) for k, v in net.params.items()]
Out[4]:
[('conv1', (32, 3, 5, 5)),
 ('conv2', (32, 32, 5, 5)),
 ('conv3', (64, 32, 5, 5)),
 ('ip1', (10, 1024))]
         cifar10训练的模型配置在文件cifar10_full.prototxt里面,共有三个卷积层和一个全连接层,参数规模如上所示。
In [5]:
#编写一个函数,用于显示各层的参数
def
show_feature(data, padsize=1, padval=0): data -= data.min() data /= data.max() # force the number of filters to be square n = int(np.ceil(np.sqrt(data.shape[0]))) padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3) data = np.pad(data, padding, mode='constant', constant_values=(padval, padval)) # tile the filters into an image data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1))) data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:]) plt.imshow(data) plt.axis('off')
In [6]:
# 第一个卷积层,参数规模为(32,3,5,5),即32个5*5的3通道filter
weight = net.params["conv1"][0].data
print weight.shape
show_feature(weight.transpose(0, 2, 3, 1))
 
(32, 3, 5, 5)
参数有两种类型:权值参数和偏置项。分别用params["conv1"][0] 和params["conv1"][1] 表示 。
我们只显示权值参数,因此用params["conv1"][0] 
 
 
In [7]:
# 第二个卷积层的权值参数,共有32*32个filter,每个filter大小为5*5
weight = net.params["conv2"][0].data
print weight.shape
show_feature(weight.reshape(32**2, 5, 5))
 
(32, 32, 5, 5)
 
In [8]:
# 第三个卷积层的权值,共有64*32个filter,每个filter大小为5*5,取其前1024个进行可视化
 weight = net.params["conv3"][0].data print weight.shape show_feature(weight.reshape(64*32, 5, 5)[:1024])
 
(64, 32, 5, 5)
 
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
引用[1]:CSPNet: A New Backbone that can Enhance Learning Capability of CNN[^1]。引用:yolox在backbone部分引入的focus网络,类似于pooling的策略,但是他没有像maxpooling一样把小的feature丢掉,而是隔一个位置取一个值后堆叠到channel中,因为我们知道通道数越高,表征能力越强。再次我们看一下作者用silu替换了relu,silu的优势在于它是全局可导的,不存在不可导的0点。另外,在backbone部分,我们可以得到的启示就是,怎样将小的conv+bn+silu组成的基本卷积结构构造成不同类型的残差结构。另外,在head部分,作者认为yolov3中的类别和坐标放到一个1∗1卷积得到,会相互影响。因此把它分成两个分支[^2]。 有许多卷积神经网络可视化工具可用于可视化网络结构和特征图。以下是一些常用的工具: 1. TensorBoard:TensorBoard是TensorFlow的官方可视化工具,它可以用于可视化网络结构、训练过程和特征图。通过使用TensorBoard的`tf.summary.FileWriter`和`tf.summary.histogram`等函数,可以将网络结构和特征图保存为TensorBoard可读取的格式,并在浏览器中进行可视化展示。 2. Netron:Netron是一个开源的神经网络模型可视化工具,支持多种深度学习框架的模型可视化,包括TensorFlow、PyTorch、Caffe等。它可以直接加载模型文件,并以图形方式显示网络结构,方便用户进行可视化分析。 3. PyTorch的torchsummary和torchviz:PyTorch提供了torchsummary和torchviz两个库,可以用于可视化PyTorch模型的网络结构。torchsummary可以打印出模型的层次结构和参数数量,而torchviz可以生成模型的计算图。 4. Keras的plot_model:Keras提供了plot_model函数,可以将Keras模型保存为图像文件,以可视化网络结构。该函数可以将模型的层次结构、输入和输出形状等信息绘制成图形,方便用户进行可视化分析。 这些工具可以帮助您更好地理解和分析卷积神经网络的结构和特征图。您可以根据自己的需求选择适合的工具进行使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值