tensorflow(神经网络)学习笔记(三)之调参数（笔记）

最新推荐文章于 2022-12-21 17:00:00 发布
最新推荐文章于 2022-12-21 17:00:00 发布
阅读量522 收藏 2
点赞数
分类专栏： 机器学习 笔记 文章标签： 神经网络 神经网络调参数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40965177/article/details/102847454
版权

目录
卷积网络调参

  1. 调整学习率
  2. 选择不同的激活函数
  3. 网络初始化
  4. 批归一化
  5. 数据增强

卷积神经网络调参

在这里插入图片描述
α是对每一个神经元结构来说的.所以对于稀疏的问题来说就更明显了,很难学习到稀疏问题上的信息,然后将学习率α调小,但是又对于稀疏问题来说,还没有学习到足够的信息,使得下降梯度不够大,无法得到收敛
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
变种
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
手动设置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
各自的优缺点
在这里插入图片描述
在这里插入图片描述
当x<0时,输出一直为0进入死循环.
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
单层原因:(在最后是损失函数计算中,这个参数是可以直接用到的,梯度可以直接计算在这个参数上)
多层原因:链式法则,第一层的输入为0,导致第二层的输入也为0, 导致后面的全为0

在这里插入图片描述
在这里插入图片描述
在底层表现不错,越往高层,越接近于0,梯度的计算和激活值是很有关系的,激活值接近于0的原因在于方差太小了
在这里插入图片描述
在方差太大的情况下,表现的依然不好,在于tanh的函数图像的分布
在这里插入图片描述

W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in)

在这里插入图片描述
在这里插入图片描述
改进
在这里插入图片描述
批归一化:为了使得每一层的激活值比较统一,在每一层得到激活值之后,做一个归一化的处理
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入方法图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

cmzz
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tensorflow神经网络调参记录
mimiGUO的博客
06-05 362
1.因为做的是材料科学方面的，用到了tensorflow神经网络来处理数据 由于特征维度比较特殊，大概有上万维度的特征数值，三千多个数据 def build_model(): model=keras.Sequential() model.add(layers.Dense(128,input_shape=[len(normed_train_data.keys())],activation='relu')) model.add(keras.layers.Dense(128,activat
TensorFlow 入门（二）——神经网络参数
weixin_43900469的博客
02-17 280
TensorFlow 入门 1.计算图 TensorFlow中每一个计算都是一个节点 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片拖拽 功能...
tensorflow入门(三)tensorflow下神经网络参数的设置
weixin_36670529的博客
12-10 2156
神经网络中的参数是神经网络实现分类或回归问题中重要的部分。在tensorflow中，变量(tf.Variable)的作用就是保存和更新神经网络中的参数的。在tensorflow中，变量(tf.Variable)的作用就是保存和更新神经网络的参数。和其他编程语言类似，tensorflow中的变量也需要指定初始值。因为在神经网络中，给参数赋予随机初始值最为常见，所以一般也使用随机数给tensorflo...
TensorFlow调整超参数步骤
XerCis的博客
03-08 5915
一、概述 神经网络性能十分依赖超参数。 常见的超参数有：学习率、正则化器、正则化系数、隐藏层数、初始权重值、选择的优化器 二、步骤 构建模型 保存模型 saver = tf.train.Saver() with tf.Session() as sess: save_path = saver.save(sess,"model.ckpt") print("Model saved i...
神经网络参数与TensorFlow变量
xuesuoziluoshu的博客
01-11 267
在TensorFlow中，变量（tf.Variable）的作用就是保存和更新网络中的参数。与其它编程语言相似，TensorFlow中的变量也需要指定初始值。在神经网络中，给参数赋予随机初始值最为常见，所以也一般使用随机数给TensorFlow中的变量初始化。下面一段代码给出了一种在TensorFlow中声明一个2×3的矩阵变量的方法： weights=tf.Variable(tf.random_n...
TensorFlow深度学习笔记TensorFlow实现与优化深度神经网络
01-27
1.加载lesson1中的数据集2.将Data降维成一维，将label映射为one-hotencoding1.使用梯度计算train_loss，用tf.Graph()创建一个计
tensorflow笔记之神经网络优化
03-23
TensorFlow笔记之神经网络优化 本资源主要介绍了神经网络优化的相关知识点，包括神经网络复杂度、学习率策略、激活函数、损失函数、优化器等内容。 神经网络复杂度是指神经网络模型的时间复杂度和空间复杂度。时间...
tensorflow学习笔记之mnist的卷积神经网络实例
09-20
在本篇TensorFlow学习笔记中，我们探讨了一个用于识别MNIST手写数字的卷积神经网络（CNN）实例。MNIST数据集是一个广泛使用的图像识别数据集，包含0到9的手写数字，每张图像是28x28像素的灰度图像。以下是构建这个...
tensorflow学习笔记之简单的神经网络训练和测试
12-23
神经网络没有卷积功能，只有简单的三层：输入层，隐藏层和输出层。 数据从输入层输入，在隐藏层进行加权变换，最后在输出层进行输出。输出的时候，我们可以使用softmax回归，输出属于每个类别的概率值。借用极客学院...
TensorFlow——神经网络参数优化
Sam's blog
09-29 304
1、backward # conding:utf-8 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import mnist_forwsrd import os BATCH_SIZE = 200 LEARNING_RATE_BASE = 0.1 LEARNING_RATE_DECAY = 0.99 REGULARIZER = 0.0001 STEPS = 100000 MOVING_
tensorflow CNN模型训练+优化参数+实战
qq_43755945的博客
02-15 2509
训练线性函数 import numpy as np import tensorflow.keras as keras # 构建模型 model = keras.Sequential([keras.layers.Dense(units=1,input_shape=[1])]) # optimizer优化，loss损失 model.compile(optimizer='sgd', loss='mean_squared_error') #准备训练数据 xs=np.array([-1.0,0,1,2,3,4],d
TensorFlow学习笔记（7）拟合保存与调参
最新发布
m0_63848276的博客
12-21 287
基于TensorFlow官网（https://tensorflow.google.cn/guide/tensor?hl=zh_cn#ragged_tensors）教程的学习
Tensorflow神经元函数
Tommy_hello的博客
01-12 602
11.1激活函数 激活函数（Activation Function）就是对神经网络中某一部分神经元的非线性运算，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。激活函数一般要求可微，且不会改变输入数据的维度。 在Tensorflow中常用的激活函数包括： tf.sigmoid(features,name=None) tf.tanh(features,name=N...
【TensorFlow】卷积神经网络的参数设置与例子
造出高达般的人工智能机器人
05-02 9288
一、卷积操作参数的简要说明   如上图所示，假设我们有32*32的RBG图片，也就是神经网络的 input 是 32*32*3，表示输入是一个有3个图层的32*32的图片。   假设现在有一个 5*5的 filter处理一个32*32的图层，那么处理后的输出就是一个28*28的图层。现在总共有3个图层，filter需要覆盖这三个图层，因此对于32*32*3的input，filter需要设置...
TensorFlow下cnn一些调参经验
u013842516的专栏
05-23 4621
1，        每次训练样本数目大小最少保证不要小于目标类别的2倍，否则准确率一直上不去，假如标签有40类，则不要至少小于80，越大的话对准确度越好，但训练时间越长。 2，        使用relu激励函数要比较小心，因为他在负半轴恒等为0，训练到后期，准确度突然降为0，可以考虑是不是relu的问题 3，        全连接层节点数对结果影响较小。 4，        更换b
Tensorflow变量表示神经网络参数
zhonghua18517的专栏
06-06 1664
上一部分我们讲到神经网络结构中每个神经元都有参数，那么这些神经网络参数该如何在Tensorflow中呈现呢？通常我们知道用变量可表示相应的参数，那么Tensorflow中变量(tf.Variable)与其它语言有何不同，它是如何实现神经网络参数的保存以及使用的呢？
Tensorflow笔记之神经网络参数与Tensorflow变量
毛豆豆的博客
03-05 271
神经网络的参数是神经网络实现分类回归问题中的重要组成部分。 在Tensorflow中变量（tf.Variable）的作用就是保存和更新神经网路的参数。其使用之前也必须指定初始值。一般使用随机变量给Tensorflow进行赋值，下面是声明一个2X3矩阵变量的方法： weights=tf.Variable(tf.random_normal([2,3],stddev=2)) 上述代码...
深层神经网络调参5_Tensorflow基础-NeuralNetwork
zyoulanxin的博客
11-20 167
import math import numpy as np import h5py import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.python.framework import ops from tf_utils import load_dataset, random_mini_batches, convert_to_one_hot, predict %matplotlib inline np.random.
tensorflow2.0入门操作
Andy_shenzl的博客
06-09 378
开篇 作为用tensorflow1.4一值没更新的人来讲，本来决定换pytorch,但是看了下tensorflow2的一些简单操作后，决定再次投入到tensorflow的怀抱。 基础操作 首先看一些基础操作 import tensorflow as tf import numpy as np tf.__version__ #'2.2.0' x = [[1.]] m = tf.matmul(x, x) print(m) tf.Tensor([[1.]], shape=(1, 1), dtype=floa
tensorflow笔记之神经网络计算过程及模型搭建
03-23
神经网络计算过程及模型搭建

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值