1、神经网络的特点
- 输入向量的维度和输入神经元的个数相同
- 每个连接都有个权值
- 同一层神经元之间没有连接
- 由输入层,隐层,输出层组成
- 第N层与第N-1层的所有神经元连接,也叫全连接
2、SoftMax回归
其中 i 为所求的那个输出值,j 可为所有的输出值。
- 计算概率
- 所有类别的概率值相加等于1
3、Mnist数据集神经网络(代码展示使用的数据集)
Mnist数据集神经网络实现流程
1、准备数据
2、全连接结果计算
3、损失优化
4、模型评估(计算准确性)
运用到的函数
- SoftMax计算、交叉熵损失计算
tf.nn.softmax_cross_entropy_with_logits(labels=None, logits=None,name=None)
计算logits和labels之间的交叉损失熵
1、labels:标签值(真实值)
2、logits:样本加权之后的值
3、return:返回损失值列表 - 损失值列表平均值计算
tf.reduce_mean(input_tensor)
计算张量的尺寸的元素平均值 - 梯度下降优化
tf.train.GradientDescentOptimizer(learning_rate)
梯度下降优化
1、learning_rate:学习率,一般为
2、minimize(loss):最小化损失
3、return:梯度下降op - 准确性计算
1、equal_list = tf.equal(tf.argmax(y, 1), tf.argmax(y_label, 1))
2、accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
4、代码解析
import tensorflow as tf
# 导入数据
from tensorflow.examples.tutorials.mnist import input_data
from tensorflow.contrib.slim.python.slim.nets.inception_v3 import inception_v3_base
FLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_integer("is_train", 1, "指定程序是预测还是训练")
def full_connected():
# 获取真实的数据
mnist = input_data.read_data_sets("./data/mnist/input_data/", one_hot=True)
# 1、建立数据的占位符 x(特征值) [None, 784] y_true(目标值) [None, 10]
# tf.variable_scope表示取一个作用域,作用域的名字叫data
with tf.variable_scope("data"):
x = tf.placeholder(tf.float32, [None, 784])
y_true = tf.placeholder(tf.int32, [None, 10])
# 2、建立一个全连接层的神经网络 w(权重) [784, 10] b(偏置) [10]
with tf.variable_scope("fc_model"):
# 要在这里进行计算,得到预测结果
# 随机初始化权重和偏置,参数要进行优化,必须要有Variable来定义
weight = tf.Variable(tf.random_normal([784, 10], mean=0.0, stddev=1.0), name="w")
bias = tf.Variable(tf.constant(0.0, shape=[10]))
# 预测None个样本的输出结果matrix(矩阵相乘) [None, 784]* [784, 10] + [10] = [None, 10]
y_predict = tf.matmul(x, weight) + bias
# 3、求出所有样本的损失,然后求平均值
with tf.variable_scope("soft_cross"):
# 求平均交叉熵损失(这里是所有样本的,所以要用tf.reduce_mean来求一下平均值)
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_predict))
# 4、梯度下降求出损失(optimizer:优化)
with tf.variable_scope("optimizer"):
train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
# 5、计算准确率(用输出值和目标值去计算)
with tf.variable_scope("acc"):
equal_list = tf.equal(tf.argmax(y_true, 1), tf.argmax(y_predict, 1))
# equal_list None个样本 [1, 0, 1, 0, 1, 1,..........],对这个求平均值
accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
# 收集变量 单个数字值收集
tf.summary.scalar("losses", loss)
tf.summary.scalar("acc", accuracy)
# 高纬度变量收集
tf.summary.histogram("weightes", weight)
tf.summary.histogram("biases", bias)
# 因为这里有变量(Variable),所以要初始化变量。
# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()
# 定义一个合并变量de op
merged = tf.summary.merge_all()
# 创建一个saver
saver = tf.train.Saver()
# 开启会话去训练
with tf.Session() as sess:
# 初始化变量
sess.run(init_op)
# 建立events文件,然后写入
filewriter = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
if FLAGS.is_train == 1:
# 迭代步数去训练,更新参数预测
for i in range(2000):
# mnist中先获取训练的数据,取出真实存在的特征值(mnist_x)和目标值(mnist_y)
# 用来在下面传给feed_dict中的x和y_true中
mnist_x, mnist_y = mnist.train.next_batch(50)
# 运行train_op训练
sess.run(train_op, feed_dict={x: mnist_x, y_true: mnist_y})
# 写入每步训练的值
summary = sess.run(merged, feed_dict={x: mnist_x, y_true: mnist_y})
filewriter.add_summary(summary, i)
print("训练第%d步,准确率为:%f" % (i, sess.run(accuracy, feed_dict={x: mnist_x, y_true: mnist_y})))
# 保存模型
saver.save(sess, "./tmp/ckpt/fc_model")
else:
# 加载模型,将那些train中的weight和baise加载进来了
saver.restore(sess, "./tmp/ckpt/fc_model")
# 如果是0,做出预测
for i in range(100):
# 每次测试一张图片 [0,0,0,0,0,1,0,0,0,0]
x_test, y_test = mnist.test.next_batch(1)
print("第%d张图片,手写数字图片目标是:%d, 预测结果是:%d" % (
i,
# 这里是test中目标值的结果
tf.argmax(y_test, 1).eval(),
# 这里是test中的预测结果
tf.argmax(sess.run(y_predict, feed_dict={x: x_test, y_true: y_test}), 1).eval()
))
return None
if __name__ == "__main__":
full_connected()
想要得到测试的结果:
打开cmd,输入 python 此代码保存的py文件名.py --is_train = 0,回车
部分结果展示:这里的图片数选择的是100张。