04. 简单神经网络

最新推荐文章于 2020-12-12 16:39:12 发布
最新推荐文章于 2020-12-12 16:39:12 发布
阅读量171 收藏
点赞数
分类专栏： tensorflow1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanjianhai/article/details/103080229
版权

1. 神经网络基础

1.1. 感知机

  • 有n个输入数据， 通过权重与各数据之间的计算和，比较激活函数结果， 得出输出

  • 应用：很容易解决与、或、非问题

  • 感知机解决的是分类问题

  • 效果演示

    • 链接：http://playground.tensorflow.org/#activation=sigmoid&regularization=L2&batchSize=10&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=0&networkShape=3&seed=0.84062&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&showTestData_hide=true&learningRate_hide=true&regularizationRate_hide=true&percTrainData_hide=true&numHiddenLayers_hide=true&discretize_hide=true&activation_hide=true&problem_hide=true&noise_hide=true&regularization_hide=true&dataset_hide=true&batchSize_hide=true&playButton_hide=false

1.2 感知机与逻辑回归的联系与区别

  • 激活函数、结果分析

2. 人工神经网络（ANN）

2.1. 定义

  • 在机器学习和认知科学领域，人工神经网络（artificial neural network，缩写ANN），简称神经网络（：neural network，缩写NN）或类神经网络，是一
    种模仿生物神经网络的结构和功能的计算模型，用于对函数进行估计或近似。

2.2. 神经网络的种类

  • 基础神经网络：单层感知器，线性神经网络， BP神经网络， HopField神经网络等
  • 进阶神经网络：玻尔兹曼机，受限玻尔兹曼机， 递归神经网络等
  • 深度神经网络： 深度置信网络， 卷积神经网络， 循环神经网络， LSTM网络等

2.3. 神经网络的特点

  • 输入向量的维度和输入神经元的个数相同
  • 每个连接都有个权值
  • 同一层神经元之间没有连接
  • 由输入层，隐层，输出层组成
  • 第N层与第N-1层的所有神经元连接，也叫全连接

2.4. 神经网络的组成

  • 结构（Architecture）例如，神经网络中的变量可以是神经元连接的权重
  • 激励函数（Activity Rule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。
  • 学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。 （反向传播算法）

3. Mnist数据集浅层神经网络分析

3.0. 内容描述(图)

在这里插入图片描述
在这里插入图片描述

3.1. SoftMax回归（图）

在这里插入图片描述

3.2. 交叉熵损失（图）

在这里插入图片描述

3.3. 线性回归，逻辑回归，神经网络算法的对比

3.3.1. 计算损失策略和优化

算法            策略            优化
线性回归        均方误差        梯度下降
逻辑回归        对数似然损失    梯度下降（二分类）
神经网络        交叉熵损失      梯度下降（反向传播算法）

3.3.2. 基本概念

  • 正向传播：输出经过一层层的计算得出输出
  • 反向传播：从损失计算开始，梯度下降更新权重
  • sigmoid：逻辑回归， 某一个类别的概率， 二分类
  • softmax：神经网络，有多少类别，输出就是多少个

3.4. 其他方法API介绍

3.4.1. 全连接-从输入直接到输出

  • 特征加权：
    • tf.matmul(a, b,name=None)+bias
    • return:全连接结果，供交叉损失运算
    • 不需要激活函数（因为是最后的输出）

3.4.2. SoftMax计算、交叉熵

  • tf.nn.softmax_cross_entropy_with_logits(labels=None, logits=None,name=None)计算logits和labels之间的交叉损失熵
    • labels:标签值（真实值）
    • logits：样本加权之后的值
    • return:返回损失值列表

3.4.3. 损失值列表平均值计算

  • tf.reduce_mean(input_tensor) 计算张量的尺寸的元素平均值

3.4.4. 损失下降API

  • tf.train.GradientDescentOptimizer(learning_rate) 梯度下降优化
  • learning_rate:学习率，一般为
  • minimize(loss):最小化损失
  • return:梯度下降op

3.5. 准确性计算（图）

  • equal_list = tf.equal(tf.argmax(y, 1), tf.argmax(y_label, 1))
  • accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
    在这里插入图片描述

4. Mnist数字图片识别

4.1. 训练模型

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data 

def full_connected():
    
    # 获取真实的数据
    mnist = input_data.read_data_sets("./mnist_data/input/", one_hot=True)

    # 1. 建立数据的占位符 x[None, 784]  y_true[None, 10]
    with tf.variable_scope("data"):
        x = tf.placeholder(tf.float32, [None, 784])
        y_true = tf.placeholder(tf.int32, [None, 10])
        
    # 2. 建立一个全连接层的神经网络， 权重w[784, 10], 偏置bias [10]
    with tf.variable_scope("fc_model"):
        # 随机初始化权重和偏置
        weight = tf.Variable(tf.random_normal([784, 10], mean=0.0, stddev=1.0), name='w')
        bias = tf.Variable(tf.constant(0.0, shape=[10]))
        # 预测None个样本的输出结果matrix [None, 784] * [784, 10] + [10] = [None, 10]
        y_predict = tf.matmul(x, weight) + bias
        
    # 3. 求出所有样本的损失，然后求平均值
    with tf.variable_scope("soft_cross"):
        # 求平均交叉熵损失
        loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_predict))
    
    # 4. 梯度下降，求出损失
    with tf.variable_scope("optimizer"):
        train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
        
    # 5. 计算准确率
    with tf.variable_scope("acc"):
        equal_list = tf.equal(tf.argmax(y_true, 1), tf.argmax(y_predict, 1))
        # equal_list None个样本[1,0,1,0,1,1........]
        accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
    
    # 收集变量，单个数字值搜集
    tf.summary.scalar("losses", loss)
    tf.summary.scalar("acc", accuracy)
    
    # 高纬度变量收集
    tf.summary.histogram("weights", weight)
    tf.summary.histogram("biases", bias)
    
    # 定义一个初始化变量的op
    init_op = tf.global_variables_initializer()
    
    # 定义合并变量的op
    merged = tf.summary.merge_all()
    
    # 开启会话，开始训练
    with tf.Session() as sess:
        # 初始化变量
        sess.run(init_op)
        
        # 建立events文件， 然后写入
        file_writer = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
        
        # 迭代步数训练， 更新参数预测
        for i in range(2000):
            # 获得真实存在的特征值和目标值
            mnist_x, mnist_y = mnist.train.next_batch(50)
            # 运行train_op训练
            sess.run(train_op, feed_dict={x: mnist_x, y_true: mnist_y})
            
            # 写入每一步训练的值
            summary = sess.run(merged, feed_dict={x: mnist_x, y_true: mnist_y})
            file_writer.add_summary(summary, i)
            
            # 注意巡行的时候，要始终跟上feed_dict
            print("训练第{}步, 准确率为：{}".format(i, sess.run(accuracy, feed_dict={x: mnist_x, y_true: mnist_y})))
    

if __name__ == "__main__":
    full_connected()

4.2. 观测变量（图）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.3. 预测结果

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data 

FLAGS = tf.app.flags.FLAGS

tf.app.flags.DEFINE_integer("is_train", 1, "指定程序是预测还是训练")


def full_connected():
    
    # 获取真实的数据
    mnist = input_data.read_data_sets("./mnist_data/input/", one_hot=True)

    # 1. 建立数据的占位符 x[None, 784]  y_true[None, 10]
    with tf.variable_scope("data"):
        x = tf.placeholder(tf.float32, [None, 784])
        y_true = tf.placeholder(tf.int32, [None, 10])
        
    # 2. 建立一个全连接层的神经网络， 权重w[784, 10], 偏置bias [10]
    with tf.variable_scope("fc_model"):
        # 随机初始化权重和偏置
        weight = tf.Variable(tf.random_normal([784, 10], mean=0.0, stddev=1.0), name='w')
        bias = tf.Variable(tf.constant(0.0, shape=[10]))
        # 预测None个样本的输出结果matrix [None, 784] * [784, 10] + [10] = [None, 10]
        y_predict = tf.matmul(x, weight) + bias
        
    # 3. 求出所有样本的损失，然后求平均值
    with tf.variable_scope("soft_cross"):
        # 求平均交叉熵损失
        loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_predict))
    
    # 4. 梯度下降，求出损失
    with tf.variable_scope("optimizer"):
        train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
        
    # 5. 计算准确率
    with tf.variable_scope("acc"):
        equal_list = tf.equal(tf.argmax(y_true, 1), tf.argmax(y_predict, 1))
        # equal_list None个样本[1,0,1,0,1,1........]
        accuracy = tf.reduce_mean(tf.cast(equal_list, tf.float32))
    
    # 收集变量，单个数字值搜集
    tf.summary.scalar("losses", loss)
    tf.summary.scalar("acc", accuracy)
    
    # 高纬度变量收集
    tf.summary.histogram("weights", weight)
    tf.summary.histogram("biases", bias)
    
    # 定义一个初始化变量的op
    init_op = tf.global_variables_initializer()
    
    # 定义合并变量的op
    merged = tf.summary.merge_all()
    
    # 创建一个saver
    saver = tf.train.Saver()
    
    # 开启会话，开始训练
    with tf.Session() as sess:
        # 初始化变量
        sess.run(init_op)
        
        # 建立events文件， 然后写入
        file_writer = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
        
        if FLAGS.is_train == 1:
        
            # 迭代步数训练， 更新参数预测
            for i in range(2000):
                # 获得真实存在的特征值和目标值
                mnist_x, mnist_y = mnist.train.next_batch(50)
                # 运行train_op训练
                sess.run(train_op, feed_dict={x: mnist_x, y_true: mnist_y})

                # 写入每一步训练的值
                summary = sess.run(merged, feed_dict={x: mnist_x, y_true: mnist_y})
                file_writer.add_summary(summary, i)

                # 注意巡行的时候，要始终跟上feed_dict
                print("训练第{}步, 准确率为：{}".format(i, sess.run(accuracy, feed_dict={x: mnist_x, y_true: mnist_y})))

            # 保存模型
            saver.save(sess, "./tmp/ckpt/fc_model")
        else:
            # 加载模型
            saver.restore(sess, "./tmp/ckpt/fc_model")
            # 如果是0，做出预测
            for i in range(100):
                # 每次测试一张图片[0,0,0,0,1,0,0,0,0,0]
                x_test, y_test = mnist.test.next_batch(1)
                print("第{}张图片，手写数字目标是：{}, 预测结果是：{}".format(
                    i,
                    tf.argmax(y_test, 1).eval(),
                    tf.argmax(sess.run(y_predict, feed_dict={x: x_test, y_true: y_test}), 1).eval()
                ))
                

if __name__ == "__main__":
    full_connected()
越奋斗，越幸运
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络入门 超级简单
luguanyou的博客
09-19 450
1、什么是神经网络 神经网络（Neural Network，NN），是一种模仿生物神经网络的结构和功能的数学/计算模型，用于拟合各种函数。 2、神经网络的两个要素 神经元 一个神经元，有输入（上图中神经元接受输入：x1、x2、x3），有输出（输出：y），并在神经元内部进行操作，将输入映射为输出。     连接 所谓连接，就是神经元组织在一起的形式。 不同的神经元通过连接结...
简单神经网络
XST1520203418的博客
12-05 1043
文章目录一、神经网络基础1.感知机2.神经网络结构二、浅层人工神经网络模型1、SoftMax回归2、损失计算3、API介绍 一、神经网络基础 1.感知机 注：感知机是解决分类问题 有n个输入数据，通过权重与各数据之间的计算和，比较激活函数结果，得出输出 应用：很容易解决与、或、非问题 注：一个感知机解决不了的东西，可以用多个感知机 感知机与逻辑回归的联系与区别： 2.神经网络结构 （1）定义：在机器学习和认知科学领域，人工神经网络（artificial neural network， 缩写ANN），
一个简单的神经网络例子
dbat
09-15 3万+
老饼讲解BP神经网络：在本文，展示一个matlab2014实现神经网络的简单例子，用于初步学习。
用BP神经网络解决简单的分类问题
仰起脸笑得像满月
03-09 3万+
有关于BP神经网络原理前人之述备矣，这里就暂且略过。从一年前第一次接触机器学习到现在，已经学习很多类似的智能学习算法，无论是遗传算法、群算法、模拟退火算法还是神经网络算法，在有监督的学习算法中，无非就是设计一个标准和进化方式，让结果与标准之间的误差越来越少，直到误差缩小到允许的范围内并收敛，我们谓之学习成功了。BP神经网络也是这样的，在BP神经网络学习的目标就是输出层输出的结果与真实值的差距尽...
【学习笔记】神经网络基础
weixin_30768175的博客
04-06 103
目录 感知机 神经网络 神经网络的特点 神经网络的组成 浅层人工神经网络模型 SoftMax回归 损失计算-交叉熵损失 SoftMax计算、交叉熵 准确性计算 ...
AIIA-04-03.神经网络和深度学习应用.pdf
07-19
神经网络的历史可以追溯到感知机，这是一种早期的简单模型，它接受多个输入并产生一个输出。随着技术的发展，神经网络逐渐演变为包含多层的深度学习模型，这些模型能够处理更复杂的任务，如图像识别、语音识别和自然...
04神经网络1
08-03
【神经网络】是一种模仿人脑神经元结构的计算模型，广泛应用于机器学习和人工智能领域。在神经网络中，参数数量通常非常庞大，特别是在处理复杂任务时。因此，手动写出所有参数的梯度公式是不切实际的。为了解决这个...
04-神经网络week41
08-04
"04-神经网络week41"的主题主要涉及了构建深度神经网络的一些关键概念和技术，包括网络的深度、前向与反向传播以及参数与超参数的区别。 4.1 深度L层神经网络 深度学习的核心在于其多层结构，通常被称为深度神经...
Tensorflow实现的简单BP神经网络模型
06-19
**BP神经网络模型详解** ...以上代码片段展示了如何使用TensorFlow构建和训练一个简单的BP神经网络模型，但具体实现会根据实际问题的复杂性和需求有所不同。在实际项目中，还需要根据实际情况对模型进行调整和优化。
04RBF、GRNN和PNN神经网络
最新发布
02-08
本教程“04RBF、GRNN和PNN神经网络”专注于三种特殊的神经网络模型：径向基函数网络（RBF）、广义逆回归神经网络（GRNN）和概率神经网络（PNN）。这三者都是前馈神经网络的变体，具有不同的特性和应用。 首先，让...
神经网络的简单理解
hellfire2007的博客
10-21 1万+
斯坦福大学的印度学生、机器学习爱好者 PararthShah 在2012年12月22日的使用买芒果的例子解释了神经网络，简单来说就是：如果你需要选芒果，但不知道什么样的芒果最好吃，一个简单粗暴的方法是尝遍所有的芒果，然后总结出个大深黄色的比较好吃，那么以后再去买的时候，就可以直接挑选这种。那什么是机器学习呢，就是你让机器“尝”一遍所有芒果，假设它知道哪些好吃，让机器去总结一套规律（个大深黄色），这就是机器学习。具体操作，就是你描述给机器每一个芒果的特征（颜色，大小，软硬……），描述给机器其输出（味道如何，是
搭建一个简单的神经网络
qq_31707969的博客
02-24 1万+
更多文章欢迎来我的小博客课程链接：【Siraj】 深度学习引论#2 如何做一个神经网络1 Intro to Deep Learning本周总结：神经网络是一种在数据中识别模式的算法反向传播是一种在更新权重的训练过程中采用的一种技术，这个过程使用的是梯度下降法。深度学习 = 多层神经网络 + 大数据 + 大量的计算实例课程实例中构建了一个最简单的单层神经网络，并且只含一个神经元。和吴恩达的第二周机器...
神经网络简单介绍
lpty的博客
08-04 1万+
一、神经网络是什么？ 目前最广泛使用的定义是Kohonen于1988年的描述，神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。 二、神经网络的组成 1、神经元模型 神经元模型，即上述定义中的简单单元。 在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；
一、最简单的神经网络--Bp神经网络
热门推荐
weixin_40432828的博客
09-04 20万+
        在之前的文章中，有提到过，所谓的 AI 技术，本质上是一种数据处理处理技术，它的强大来自于两方面：1.互联网的发展带来的海量数据信息  2.计算机深度学习算法的快速发展。 所以说 AI 其实并没有什么神秘，只是在算法上更为复杂。要想理解这一点，我们要从一个问题说起：找数据的规律...         如果你是一名上过大学的人，有几个数学上的方法你应该不太陌生：线性拟合，多项式拟合...
神经网络的基本概念
小亮Machine Learning
09-06 2万+
小亮最近开始重新学习神经网络，发现之前好多概念名词什么的自己都不清晰，今天特意整理了一下这些基本概念以及在神经网络中为什么要引入这些名词？详情请见下文！ 这里是小亮的blog地址：https://legendtianjin.github.io/NextLegend.github.io/ 笔者信息：Next_Legend QQ:1219154092 机器学习 深度学习 模式识别 自然语言处理 ...
logistic回归-反向传播
czp_374的博客
11-23 515
添加链接描述
深度神经网络笔记（持续更新中）
→★佐佑思维★←
12-12 195
神经网络其实和人一样懒惰，喜欢走捷径 使用rectifier 作为非线性激活函数使得深度网络学习不需要pre-training，在大、复杂的数据上，相比于sigmoid函数等更加快速和更有效率。
神经网络简单实例
我不爱机器学习的博客
08-02 2万+
定义：BP是一种多层前馈神经网络，主要特点信号向前传递，误差反向传播。在传递过程中，输入信号从输入层经隐含层，直至输出层。每一层神经元的状态只影响下一层神经元的状态。如果输出层未达到期望输出，则根据预测误差调整权值和阈值，使网络输出不断逼近预测输出。 1 网络初始化：确定输入、隐含、输出层神经元个数 2 输入层-->隐含层计算： 3 隐含层 --> 输出层计算: ...
神经网络简单入门
zz133110的博客
11-13 3115
这是我们人工智能课的作业。有助于大家理解神经网络。并且通过matlab简单的代码实现。 前向型神经网络概述与应用实践 摘  要  本文将介绍前向型神经网络，它是神经网络中一个十分常见并且重要的结构。本文首先将介绍神经网络的基本概念，之后介绍前向型神经网络的基本概念，并通过一些实例进行展示。第三部分介绍BP网络的基本概念，以及通过实践分类和拟合问题，对神经网络有进一步的认识。最后一部分是总结全文...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值