1、神经网络基础
2、人工神经网络（ANN）
3、Mnist数据集浅层神经网络分析
4、卷积神经网络（CNN）
5、卷积网络Mnist数字图片识别
一、神经网络基础
1、感知机
感知机是一类人造神经元，在许多神经网络中，主要的神经元模型是sigmoid神经元。我们将很快的了解什么是sigmoid神经元，但是想要知道为什么sigmoid要这么定义，就需要我们花点时间去了解感知机。
感知机如何工作？一个感知机通过一些二进制的输入x1,x2,...x1,x2,...，然后产生一个二进制的输出：
在上图中，感知机有三个输入x1,x2,x3x1,x2,x3，通常它可以有更多或者更少的输入。Rosenblatt提出了一个简单的规则来计算输出，它用权重w1,w2...w1,w2...来表示各个输入对输出的重要性。神经元的输出，要么是0要么是1，由权重和∑jwjxj∑jwjxj的值是否小于或者大于某一阈值。和权重一样，阈值也是一个实数，它是神经元的一个参数。用代数式表达就是：
以上就是感知机的工作原理。
应用：很容易解决与、或问题
与问题：所有的输入为1，则输出为1
建立权重w1=1,w2=1，阈值设为1.5。输入样本有（1，1）、（0，0）、（0，1）、（1，0），结果可以把（1，1）和其他三个点分开
或问题：输入只要有为1，则输出就为1
同上，也是可以在坐标轴中找出一条直线，把（0，0）和其他三个点区分开
异或问题：相同为0，不同为1
按照上面的样本，需要两条直线把（0，0）、（1，1）和其他两个点区分开。那么两条直线需要两个感知机。
说明：
单个感知机解决不了的问题，可以通过增加感知机解决。
2、人工神经网络
人工神经网络（ANN），简称神经网络（NN）或类神经网络，是一种模仿生物神经网络的结构和功能的计算模型，用于对函数进行估计或近似。
神经网络的种类
- 基础神经网络：单层感知机、线性神经网络、BP神经网络、Hopfield神经网络等
- 进阶神经网络：玻尔兹曼机、受限玻尔兹曼机、递归神经网络等
- 深度神经网络：深度置信网络、卷积神经网络、循环神经网络、LSTM网络等
感知机就是神经元，多个神经元组成了神经网络。
神经网络的特点
- 输入向量的维度和输入神经元的个数相同
- 每个连接都有个权值
- 同一层神经元之间没有连接
- 由输入层、隐层、输出层组成
- 第N层与第N-1层的所有神经元连接，也叫全连接层
神经网络的组成
结构：神经网络的权重，神经元等等
激活函数
学习规则：学习规则指定了网络中的权重如何随着时间推进而调整（反向传播算法）
神经网络的多分类问题：
输入某一个样本，输出属于全部类别的每一个概率。全连接层有多少个输出，就有多少个类别。
神经网络的API
在使用tensorflow时，tf.nn、tf.layers、tf.contrib模块有很多功能是重复的。
- tf.nn
提供神经网路相关操作的支持，包括卷积操作(conv)、池化操作(pooling)、归一化、loss、分类操作、embedding、RNN、Evaluation。
- tf.layers
主要提供高层的神经网路，主要和卷积相关，对tf.nn进一步封装。
- tf.contrib
tf.contrib.layers提供计算图中的网络层、正则化、摘要操作，是构建计算图的高级操作。但是tf.contrib包不稳定。
二、浅层人工神经网络模型
1、SoftMax回归
softmax 回归(softmax regression)其实是 logistic 回归的一般形式，logistic 回归用于二分类，而 softmax 回归用于多分类。
softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类
公式：
假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是
softmax直白来说就是将原来神经网络输出的值通过softmax函数作用，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们就可以将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标
案例：如果要识别一个手写数字图片，假设照片长宽为28*28=784，目标类别是0-9，共10个类别。
如果有n个样本进行输入，则有[n, 784] * [784, 10] + 10个偏置 = [n, 10] 。则最后输出样本预测值为n行10列。
交叉熵损失：求所有样本的损失，然后求平均损失。
2、损失计算API
交叉熵损失公式：
公式暂时缺少，可百度
| 算法 | 损失策略 | 优化 |
| 线性回归 | 均方误差 | 梯度下降 |
| 逻辑回归 | 对数似然损失 | 梯度下降 |
| 神经网络 | 交叉熵损失 | 反向传播算法（梯度下降） |
说明：在神经网络中梯度下降又称反向传播算法。因为在神经网络中的隐层可以有很多中间层，在损失计算时，通过梯度下降来优化的权重值从后往前更新，所以又叫反向传播算法。
3、API介绍
1、全连接 - 从输入直接到输出
特征加权：
- tf.matmul(a, b, name=None)+bias
- return：全连接结果，供给交叉损失运算
- 不需要激活函数（因为是最后的输出）
2、SoftMax计算、交叉熵
- tf.nn.softmax_cross_entropy_with_logits(labels=None, logits=None, name=None)
- 计算logits和labels之间的交叉损失熵
- labels：标签值（真实值）
- logits：样本加权之后的值（不是softmax值）
- return：返回损失值列表
3、损失值列表平均值计算
- tf.reduce_mean(input_tensor)
- 计算张量的尺寸的元素平均值
4、损失下降API
- tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
- 梯度下降优化
- learning_rate：学习率
- minimize(loss)：最小化损失
- return：梯度下降op
5、one-hot编码API
- tf.one_hot(indices, depth, on_value=None, off_value=None, axis=None, dtype=None, name=None)
- indices：在独热编码中位置，即数据集标签
- depth：张量的深度，即类别数
- 获取数据
- from tensorflow.examples.tutorials.mnist import input_data
- mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)
数据如图：
用法如下：
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("./data/", one_hot=True)
print(mnist.train.images) # 所有样本的特征值 (n, 784)
print(mnist.train.labels) # 所有样本的目标值 (n, 10)
# print(mnist.train.images[0]) # 第一个样本的特征值
# print(mnist.train.next_batch(50)) # 批次获取多条数据（特征值和目标值）。再次执行时获取的是后面的50条数据运行后如下所示：
6、准确性计算
- equal_list = tf.equal(tf.argmax(y, 1), tf.argmax(y_label, 1))
- tf.argmax()按行求出真实值y、预测值y_label最大值的下标
- tf.equal()求出真实值和预测值是否相等的结果，也就是预测结果列表
- accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
- 用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值
每个样本的特征概率值与目标值比较是否在同一个位置，用1表示预测成功。
最终所有样本结果类别预测成功与否：[1,0,1,0,0,1, ... , 1] 准确率：成功数/样本总数
三、案例 - 实现手写数字图片识别（训练）
Mnist手写数字识别
Mnist数据集可以从官网下载，网址：MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges下载下来的数据集被分成两部分：训练集和测试集。
单层（全连接层）实现手写数字识别：
1、定义占位符 特征值[None, 784] 目标值[None, 10]
2、建立模型 随机初始化权重和偏置 w[784, 10] b[10] y_predict=tf.matmul(x, w) + b
3、计算损失 loss平均样本损失
4、梯度下降优化
实现流程：
1、准备数据
2、全连接结果计算
3、损失优化
4、模型评估（计算准确性）
#! /usr/bin/env python
# -*- coding:utf-8 -*-
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
"""
单层（全连接层）神经网络手写数字识别案例
"""
def full_connected():
# 获取真实的数据
mnist = input_data.read_data_sets("./data/", one_hot=True)
# 1、建立数据的占位符 x[None, 784] y_true[None, 10]
with tf.variable_scope("data"):
x = tf.placeholder(tf.float32, [None, 784])
y_true = tf.placeholder(tf.int32, [None, 10])
# 2、建立一个全连接层的神经网络 w[784, 10] b[10]
with tf.variable_scope("fc_model"):
# 随机初始化权重和偏置
weight = tf.Variable(tf.random_normal([784, 10], mean=0.0, stddev=1.0), name="weight")
bias = tf.Variable(tf.constant(0.0, shape=[10]))
# 预测None个样本的输出结果matrix [None,784]*[784,10]+[10]=[None,10]
y_predict = tf.matmul(x, weight) + bias
# 3、求所有样本损失，然后求平均损失
with tf.variable_scope("soft_cross"):
# 求平均交叉熵损失
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_predict))
# 4、梯度下降求损失
with tf.variable_scope("optimizer"):
train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
# 5、计算准确率
with tf.variable_scope("acc"):
equal_list = tf.equal(tf.argmax(y_true, 1), tf.argmax(y_predict, 1))
accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
# 为了观察损失值和准确率随着训练步数的变化情况，收集变量
# 收集单个数字值
tf.summary.scalar("losses", loss)
tf.summary.scalar("acc", accuracy)
# 收集高维度变量
tf.summary.histogram("weightes", weight)
tf.summary.histogram("biases", bias)
# 定义一个合并变量的op
merged = tf.summary.merge_all()
# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()
# 开启会话训练
with tf.Session() as sess:
# 初始化变量
sess.run(init_op)
# 建立events文件，然后写入
filewriter = tf.summary.FileWriter("./summary/", graph=sess.graph)
# 迭代步数去训练，更新参数预测
for i in range(2000):
# 取出样本数据的特征数据、目标数据
mnist_x,mnist_y= mnist.train.next_batch(50)
# 运行train_op训练
sess.run(train_op, feed_dict={x:mnist_x , y_true:mnist_y})
# 写入每步训练的值
summary = sess.run(merged, feed_dict={x:mnist_x , y_true:mnist_y})
filewriter.add_summary(summary, i)
print("训练第%d步，准确率为：%f" % (i, sess.run(accuracy, feed_dict={x:mnist_x , y_true:mnist_y})))
if __name__ == '__main__':
full_connected()运行后展示：
四、案例 - 实现手写数字图片识别（预测）
完整代码如下：
#! /usr/bin/env python
# -*- coding:utf-8 -*-
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
"""
单层（全连接层）神经网络手写数字识别案例
"""
FLAGS = tf.app.flags.FLAGS
tf.app.flags.DEFINE_integer("is_train", 1, "指定程序是训练还是预测，训练为1")
def full_connected():
# 获取真实的数据
mnist = input_data.read_data_sets("./data/", one_hot=True)
# 1、建立数据的占位符 x[None, 784] y_true[None, 10]
with tf.variable_scope("data"):
x = tf.placeholder(tf.float32, [None, 784])
y_true = tf.placeholder(tf.int32, [None, 10])
# 2、建立一个全连接层的神经网络 w[784, 10] b[10]
with tf.variable_scope("fc_model"):
# 随机初始化权重和偏置
weight = tf.Variable(tf.random_normal([784, 10], mean=0.0, stddev=1.0), name="weight")
bias = tf.Variable(tf.constant(0.0, shape=[10]))
# 预测None个样本的输出结果matrix [None,784]*[784,10]+[10]=[None,10]
y_predict = tf.matmul(x, weight) + bias
# 3、求所有样本损失，然后求平均损失
with tf.variable_scope("soft_cross"):
# 求平均交叉熵损失
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_predict))
# 4、梯度下降求损失
with tf.variable_scope("optimizer"):
train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
# 5、计算准确率
with tf.variable_scope("acc"):
equal_list = tf.equal(tf.argmax(y_true, 1), tf.argmax(y_predict, 1))
accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
# 为了观察损失值和准确率随着训练步数的变化情况，收集变量
# 收集单个数字值
tf.summary.scalar("losses", loss)
tf.summary.scalar("acc", accuracy)
# 收集高维度变量
tf.summary.histogram("weightes", weight)
tf.summary.histogram("biases", bias)
# 定义一个合并变量的op
merged = tf.summary.merge_all()
# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()
# 创建一个saver
saver = tf.train.Saver()
# 开启会话训练
with tf.Session() as sess:
# 初始化变量
sess.run(init_op)
# 建立events文件，然后写入
filewriter = tf.summary.FileWriter("./summary/", graph=sess.graph)
if FLAGS.is_train == 1:
# 迭代步数去训练，更新参数预测
for i in range(2000):
# 取出样本数据的特征数据、目标数据
mnist_x, mnist_y = mnist.train.next_batch(50)
# 运行train_op训练
sess.run(train_op, feed_dict={x:mnist_x , y_true:mnist_y})
# 写入每步训练的值
summary = sess.run(merged, feed_dict={x:mnist_x , y_true:mnist_y})
filewriter.add_summary(summary, i)
print("训练第%d步，准确率为：%f" % (i, sess.run(accuracy, feed_dict={x:mnist_x , y_true:mnist_y})))
# 保存模型
saver.save(sess, "./ckpt/model")
else:
# 预测数据
# 加载模型
saver.restore(sess, "./ckpt/model")
for i in range(100):
# 每次测试一张图片
x_test, y_test = mnist.test.next_batch(1)
print("第%d张图片，手写数字图片目标是：%d，预测结果是：%d" % (
i,
tf.argmax(y_test, 1).eval(),
tf.argmax(sess.run(y_predict, feed_dict={x: x_test, y_true: y_test}), 1).eval()
))
if __name__ == '__main__':
full_connected()文件夹目录如下：
运行后如下：
python test02.py --is_train=0
扫一扫
3261
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
