caffe weigths大小统计

今天才发现可以通过查看weight权重大小来探究深度学习网络是否过拟合。

在一个深度网络中，如果浅层的网络权重小，而深层网络权重大，且二者不在一个数量级，那么就有理由怀疑该网络存在过拟合了。

就像在多项式拟合中，高次比低次权重大一样。(参见prml第一章关于多项式拟合部分)

import sys
sys.path.insert(0,"/home/zz/faceDetect/caffe/python")
import os
import caffe
from google.protobuf import text_format
from caffe.proto import caffe_pb2
import argparse
import numpy as np
from caffe.model_libs import *
import matplotlib.pyplot as plt


def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument('deploy',help="input deploy file")
    parser.add_argument('weights',help="network weights")
    return parser.parse_args()


def vision(deploy,weights):
    net = caffe.Net(deploy,weights,caffe.TEST)       #net object

    for layer_name, param in net.params.iteritems():
        weights_data = net.params[layer_name][0].data
        num_out = weights_data.shape[0]
        data = weights_data.reshape(-1,1) #flatten,1xn

        plt.title(layer_name) 
        plt.hist(data, 10, edgecolor='black')
        plt.show()
    

if __name__ == '__main__':
    args = parse_args()
    vision(args.deploy, args.weights)