【TensorFlow】MNIST（使用全连接神经网络+滑动平均+正则化+指数衰减法+激活函数）

最新推荐文章于 2023-06-18 15:27:08 发布

remo0x

最新推荐文章于 2023-06-18 15:27:08 发布

阅读量2.8k

点赞数 2

分类专栏：深度学习 TensorFlow实践文章标签： MNIST 滑动平均正则化指数衰减法三层网络

本文链接：https://blog.csdn.net/White_Idiot/article/details/78761616

版权

本文通过TensorFlow搭建了一个包含输入层、隐藏层和输出层的三层全连接神经网络，用于解决MNIST手写数字识别问题。运用了滑动平均、正则化和指数衰减法优化，并采用ReLU激活函数。代码已上传至Github。

摘要由CSDN通过智能技术生成

代码已上传至 Github —— mnist_all.py

下载MNIST数据集

以下有两种下载方式，如果链接失效可以搜索网上的资源

官方下载地址（可能需要梯子）
百度网盘下载密码: 84pb

下载之后将其放在 mnist/data/ 文件夹下，目录结构如下

mnist
    mnist_all.py
    data/
        train-images-idx3-ubyte.gz
        train-labels-idx1-ubyte.gz
        t10k-images-idx3-ubyte.gz
        t10k-labels-idx1-ubyte.gz

完整代码

该代码修改自《TensorFlow：实战Google深度学习框架》

神经网络结构是简单的三层全连接神经网络，输入层+隐藏层+输出层
使用的优化方法
- 滑动平均
- 正则化
- 指数衰减法
使用 ReLU 激活函数

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# 神经网络结构参数
INPUT_NODE = 784  # 输入层节点数。等于MNIST图片的像素
LAYER_NODE = 500  # 隐藏层节点数。只用一个隐藏层，含500个节点
OUTPUT_NODE = 10  # 输出层节点数。等于0~9对应的10个数字

# 优化方法参数
LEARNING_RATE_BASE = 0.8  # 基础学习率
LEARNING_RATE_DECAY = 0.99  # 学习率的衰减率
REGULARIZATION_RATE = 0.0001  # 正则化项在损失函数中的系数
MOVING_AVERAGE_DECAY = 0.99  # 滑动平均衰减率

# 训练参数
BATCH_SIZE = 100  # 一个训练batch中的图片数
TRAINING_STEPS = 30000  # 训练轮数


# 利用给定神经网络的输入和参数，返回前向传播结果
def</