神经网络 权重可视化

深度学习已经应用在各种不同的领域,并且都取得了不错的效果,但是在很多情况下,深度学习网络被我们看做一个黑匣子,我们不知道通过训练,我们的网络到底学习到了什么。今天给大家分享一个简单的权重可视化的方法,在我们训练完网络之后,可以通过权重可视化,直观的理解网络到底学习到了什么。本次实验基于MNIST数据集,通过建立一个两层的神经网络,采用softmax对数据集进行分类。训练完成之后,就可以看到网络的权重分布了。
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

import pylab
import tensorflow.examples.tutorials.mnist.input_data as input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
x = tf.placeholder(tf.float32, [None, 784])
y_actual = tf.placeholder(tf.float32, shape=[None, 10])
W1 = tf.Variable(tf.random_normal([784,10]))        #初始化权值W
b1 = tf.Variable(tf.random_normal([10]))            #初始化偏置项b
layer1=tf.nn.sigmoid(tf.matmul(x,W1) + b1)
y_predict = tf.nn.softmax(layer1)     #加权变换并进行softmax回归,得到预测概率
regularizer=tf.contrib.layers.l2_regularizer(0.05) 
regloss=regularizer(W1)

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_actual*tf.log(y_predict),reduction_indices=1))   #损失函数为交叉熵
totalloss=cross_entropy+regloss
train_step = tf.train.GradientDescentOptimizer(0.2).minimize(totalloss)   #用梯度下降法使得残差最小

correct_prediction = tf.equal(tf.argmax(y_predict,1), tf.argmax(y_actual,1))   #在测试阶段,测试准确度计算
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))                #多个批次的准确度均值

init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    
    for i in range(10000):               #训练阶段,迭代10000次
        batch_xs, batch_ys = mnist.train.next_batch(100)           #按批次训练,每批100行数据
        sess.run(train_step, feed_dict={x: batch_xs, y_actual: batch_ys})   #执行训练
        if(i%1000==0):                  #每训练1000次,测试一次
            print ("accuracy:",sess.run(accuracy, feed_dict={x: mnist.test.images, y_actual: mnist.test.labels}))

    W_1=W1.eval() # 把权重矩阵保存成array,array.shape=(784,10)  
    for i in range(10):  # 绘制10个隐层神经元与输入层神经元个之间的权重
        im=W_1[:,i].reshape(28,28)  #把矩阵的每一列 变化层 28*28 的矩阵
        plt.imshow(im)  #绘图
        plt.show()

结果图如下:

以上为10个节点的权重可视化结果,我们大概可以看出神经网络的权重已经学习到了对应数字的轮廓。

由于上述实验结果训练轮数比较少,当训练轮数增加时,权重可视化的效果会变得更加清晰。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_39709476/article/details/79976078
文章标签: 可视
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭