Tensorflow基础代码报错学习笔记5——activation function

最新推荐文章于 2021-02-05 17:28:49 发布
最新推荐文章于 2021-02-05 17:28:49 发布
阅读量116 收藏
点赞数
分类专栏： tensorflow学习笔记 文章标签： 神经网络 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jessica_0319/article/details/112846780
版权

原教程地址
关于激励函数的概念up讲的很通俗易懂，我在这里做个小小的文字版笔记，感兴趣自己去看视频更加简洁明了（因为没有授权所以我也不想把视频内容截图搬运过来）

激励函数

一、简单概念

激励函数用于解决代码学习过程中不能用线性方程概括的问题（用于掰弯线性函数y=Wx）
y=AF(Wx)
AF()包括：relu，sigmod，tanh

二、注意事项

（1）可以建立自己的激励函数但是要确保这些激励函数可以微分
因为当误差反向传递的时候只有这些可微的激励函数才可以把误差的传递回去
（2）当神经网络层数较少时，隐藏层可以任意选择激励函数
（3）当神经网络层数较多时，隐藏层不可以随便选择激励函数，因为会导致梯度爆炸与梯度消失的问题

三、首选激励函数选择

在少量层结构中，我们可以尝试很多不同的激励函数：
（1）卷积神经网络的卷积层中推荐：relu
（2）在循环神经网络结构中推荐：relu或tanh

7STARX
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Tensorflow】-【学习笔记5】-激励函数 (Activation Function)
weixin_40852935的博客
11-30 592
激励函数 Activation Function激励函数常用选择Tensorflow常用激活函数tf.sigmoid()tf.tanh()tf.nn.relu()tf.nn.softplus()tf.nn.softmax()tf.nn.dropout()tf.nn.elu()一般规则 激励函数 这里的 AF 就是指的激励函数. 激励函数拿出自己最擅长的”掰弯利器”, 套在了原函数上 用力一扭, 原来的 Wx 结果就被扭弯了. 其实这个 AF, 掰弯利器, 也不是什么触不可及的东西. 它其实就是另外一个非线
Tensorflow基础代码报错学习笔记11——classification分类学习
7Starx的代码小屋
02-03 389
原教程地址 原代码 import tensorflow as tf # from tensorflow.examples.tutorials.mnist import input_data # number 1 to 10 data # 如果电脑中没有数据集，会自动下载 mnist = input_data.read_data_sets('MNIST_data', one_hot=True) def add_layer(inputs, in_size, out_size, activation_func
Tensorflow 9 激励函数 activation function (神经网络 教学教程tutorial)
08-31
Tensorflow_9_激励函数_activation_function_(神经网络_教学教程tutorial)
tensorflow：激活函数(Activation Function)
haoji007的博客
08-02 2573
激活函数（Activation Function）运行时激活神经网络中某一部分神经元，将激活信息向后传入下一层的神经网络。 神经网络的数学基础是处处可微的，所以选取激活函数要保证数据输入与输出也是可微的。TensorFlow中提供哪些激活函数的API。 激活函数不会改变数据的维度，也就是输入和输出的维度是相同的。TensorFlow中有如下激活函数： 1. sigmoid 函数 这是传统神...
Tensorflow教程（附完整代码）
wangqianqianya的博客
01-22 2078
综述 TensorFlow是一个编程系统，用图来表示计算任务，描述了计算过程 图中结点表示为op(operation),一个op获得0或多个tersor tensor是一个多维数组，在图中表示边 图必须在会话Session里启动 变量需初始化tf.global_variables_initializer() TensorFlow程序可以看做独立的两部分：构建计算图与运行计算图 1、...
Tensorflow基础代码报错学习笔记9——Tensorboard可视化工具1
7Starx的代码小屋
01-22 1545
原教程地址 报错 AttributeError: module ‘tensorflow._api.v2.compat.v1.train’ has no attribute 'SummaryWriter’ AttributeError: module ‘tensorflow._api.v2.compat.v1.train’ has no attribute 'Summary’
Tensorflow基础代码报错学习笔记6——搭建神经网络（1）
7Starx的代码小屋
01-19 432
原教程地址 这一章主要讲如何写添加层的函数与搭建神经网络 先上原文码 import tensorflow as tf import numpy as np tf.compat.v1.disable_eager_execution() ###添加层函数### #activation_function=None相当于默认是线性函数# def add_layer(inputs,in_size,out_size,activation_function=None): Weights = tf.Variab
Tensorflow基础代码报错学习笔记10——Tensorboard可视化工具2
7Starx的代码小屋
01-26 288
原教程地址 更新代码 由于本次代码是在上一次教程的基础上改的，所以这里只把修改的部分代码贴出来。 （1）首先定义了一个layer_name （2）在def add_layer函数中添加了一个n_layer参数 （3）用**tf.histogram_summary()**来总结layer的名字 def add_layer(inputs, in_size, out_size, n_layer, activation_function=None): # add one more layer and ret
Tensorflow基础代码报错学习笔记7——搭建神经网络（2）可视化显示
7Starx的代码小屋
01-20 529
原教程地址 这一节利用matplot库讲了可视化显示真实数据与预测数据 代码根据上一篇的内容进行添加和修改，为了方便看，我先只把修改的部分代码贴出来： 原代码及结果 1.首先引入matplot库 import matplotlib.pyplot as plt 2.然后显示真实数据 ###可视化显示真实数据### fig = plt.figure() #生成图片框# ax = fig.add_subplot(1,1,1) #连续画图用axis,1,1,1是编号 ax.scatter(x_data,y_da
tensorflow学习-------激活函数（activation function)
鲲鹏望舒
03-07 1926
1. 激活函数 2.激活函数的分类： 2.1非线性激活函数 2.1.1 sigmoid函数 2.1.2 tanh函数 2.1.3 函数曲线绘制代码 2.2 连续但不是处处可微的函数： 2.2.1relu函数 2.2.2 函数曲线绘制代码 2.3随机化正则函数 drop函数 3.激活函数选择 tensorflow学习——-激活函数（activation function...
Tensorflow基础代码报错学习笔记8——Optimizer优化器
7Starx的代码小屋
01-21 1473
原教程地址 最基础的优化方法 Stochastic Gradient Descent(SGD) 思路： 将数据分为小批小批的，再进入NN中计算 每次采用批量数据，虽然不能整体上反映数据的情况，不过在很大程度上加速了NN的训练过程，并且不会损失很多准确率 其他优化方法 SGD并不是最快的优化方法 其他方法大部分是在神经网络训练参数的时候动手脚 W += - Learning rate * dx dx为校正值 Momentum 这种方法可能会另学习过程曲折无比，就像一个喝醉的人，所以把它放在一个斜坡上（参考原
Tensorflow基础代码报错学习笔记1——简单的神经网络
7Starx的代码小屋
01-18 707
@TOC 没有授权转载，只是如果大家想学习的话可以去b站看原视频 这个笔记是我跟着up主的教程打代码的时候遇到了一些问题（大部分是tensorflow版本问题）以及一些解决办法 先看原教程代码 （附部分up讲解的注释）***** import tensorflow as tf import numpy as np #create data# x_data = np.random.rand(100).astype(np.float32) y_data = x_data * 0.1 + 0.3 ###c
Tensorflow基础代码报错学习笔记13——CNN卷积神经网络
7Starx的代码小屋
02-04 416
原教程地址1：什么是CNN神经网络 原教程地址2：CNN神经网络图解 原教程地址3：CNN神经网络函数定义 原教程地址4：CNN神经网络层搭建 CNN卷积神经网络一 代码二 报错及解决2.1 报错2.2 分析2.3 问题解决三 结果对比四 总结 原理部分用图片比较好理解，建议大家去看视频 这部分因为我在上专业课的时候学习过所以就不在这里赘述了 一 代码 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_
Tensorflow基础代码报错学习笔记3——Variable变量
7Starx的代码小屋
01-19 320
原教程地址之Variable变量 先贴原代码 import tensorflow as tf tf.compat.v1.disable_eager_execution()#这一句为了让run正常运行 state = tf.Variable(0,name='counter') #print(state.name) one = tf.constant(1) new_value = tf.add(state,one) update = tf.assign(state,new_value) #定义变量后最重
Tensorflow基础代码报错学习笔记12——overfitting过拟合
7Starx的代码小屋
02-03 294
overfitting过拟合一 过拟合基础理论1.1 过拟合的解决方法二 代码2.1 原代码2.2 报错及解决2.3 结果三 Overfitting的克服3.1 修改代码3.2 dropout结果对比3.3 修改后的完整代码 原教程地址 一 过拟合基础理论 过拟合简单来说就是不能表达除了训练数据以外的数据（教程中有很生动的图像表示，建议大家直接去看教程） 1.1 过拟合的解决方法 （1）增加数据量 （2）运用正规化：L1,L2…regularization 适用于大多数的机器学习，神经网络，方法大同小异，可
Tensorflow基础代码报错学习笔记4——Placeholder
7Starx的代码小屋
01-19 283
原视频教程 先贴原版代码（以及我的注释） import tensorflow as tf tf.compat.v1.disable_eager_execution() #一般只能处理float就默认写成float32就可以了# #如果输入的input是两行两列可以先规定结构： #input1 = tf.placeholder(tf.float32,[2,2])# input1 = tf.placeholder(tf.float32) input2 = tf.placeholder(tf.float32)
Tensorflow基础代码报错学习笔记14——Saver保存读取
7Starx的代码小屋
02-05 205
原教程地址 Saver保存读取一 保存1.1代码1.2 结果二 读取2.1 代码2.2 结果三 总结四 全部代码 一 保存 1.1代码 import tensorflow as tf ## Save to file # remember to define the same dtype and shape when restore W =tf.Variable([[1, 2, 3], [3, 4, 5]], dtype=tf.float32, name='weights') b = tf.Variable(
tensorflow 深度学习代码
最新发布
07-27
当然可以！这里是一个使用TensorFlow实现深度学习的示例代码： ```python import tensorflow as tf from tensorflow.keras import layers # 构建模型 model = tf.keras.Sequential() model.add(layers.Dense(64, activation='relu', input_shape=(784,))) model.add(layers.Dense(64, activation='relu')) model.add(layers.Dense(10, activation='softmax')) # 编译模型 model.compile(optimizer=tf.keras.optimizers.Adam(0.001), loss='categorical_crossentropy', metrics=['accuracy']) # 加载数据集 (x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data() # 数据预处理 x_train = x_train.reshape(-1, 784) / 255.0 x_test = x_test.reshape(-1, 784) / 255.0 y_train = tf.keras.utils.to_categorical(y_train) y_test = tf.keras.utils.to_categorical(y_test) # 训练模型 model.fit(x_train, y_train, epochs=5, batch_size=32, validation_data=(x_test, y_test)) ``` 这段代码展示了如何用TensorFlow构建一个简单的MLP（多层感知机）模型，并使用MNIST数据集进行训练。模型包括两个隐藏层和一个输出层，使用ReLU作为激活函数。编译模型时使用Adam优化器和交叉熵损失函数。训练过程中将数据预处理为0-1范围内的浮点数，并对标签进行独热编码。然后使用训练集进行模型训练，最后在测试集上进行验证。 希望这个示例对你有帮助！如果有任何问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值