【TensorFlow】maxout实现以及TensorFlow各种基础知识

最新推荐文章于 2023-10-12 15:35:42 发布
最新推荐文章于 2023-10-12 15:35:42 发布
阅读量1.1k 收藏 1
点赞数
分类专栏： TensorFlow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ncc1995/article/details/88709568
版权
本文介绍了TensorFlow的基础知识，包括权重初始化如xavier和MSRA，参数初始化，使用tf.summary和tf.logging进行日志管理和信息输出，理解tf.placeholder的作用，掌握tf.name_scope和tf.variable_scope的区别，以及常用的数学运算如tf.reduce_mean。此外，还讨论了tf.equal和tf.argmax的用法。
摘要由CSDN通过智能技术生成

一、TensorFlow权重初始化

截断高斯分布

下面的初始化改进都是基于保证输出与输入的分布相差不大的思想。

xavier初始化(适用于激活函数是sigmoid和tanh)

MSRA初始化(适用于激活函数relu)

 

二、TensorFlow参数初始化

tf.global_variables_initializer

 

三、tf.summary

scalar(name, tensor, collections=None, family=None):
  • name：参数名称
  • tensor：保存的tensor 

tf.summary.merge_all

merge_all 可以将所有summary全部保存到磁盘，以便tensorboard显示。如果没有特殊要求，一般用这一句就可一显示训练时的各种信息了。

tf.summary.FileWriter

tf.summary.FileWriter(logs_path, graph=tf.get_default_graph())

指定一个文件用来保存图。

可以调用其add_summary（）方法将训练过程数据保存在filewriter指定的文件中

 

四、tf.logging.set_verbosity

tf.logging.set_verbosity (tf.logging
最低0.47元/天 解锁文章
ncc1995
关注
专栏目录
Maxout激活函数
data+scenario+science+insight
05-23 882
Maxout激活函数 maxout激发函数，则其隐含层节点的输出表达式为： 这里的W是3维的，尺寸为d*m*k，其中d表示输入层节点的个数，m表示隐含层节点的个数，k表示每个隐含层节点对应了k个”隐隐含层”节点，这k个”隐隐含层”节点都是线性输出的，而maxout的每个节点就是取这k个”隐隐含层”节点输出值中最大的那个值。因为激发函数中有了max操作，所以整个maxout网络也是一种非线性的变换。 下图可以帮你直观的认识什么是maxout激活函数(下图中k=3)...
深度学习最全面试题总结（一）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-04 2万+
导读：本系列深度学习面试题系列总结，资料集合包含机器学习、深度学习等各系列常见问题，可配合下列资料一起学习，内容参考Github及网络资源，仅供个人学习。侵权联系删除！
maxout实现-TensorFlow
Xwei1226的博客
05-21 2616
1.原理maxout作为一种独特的激活函数，来源于paper Goodfellow, I. J., Warde-Farley, D., Mirza, M., Courville, A., & Bengio, Y. (2013). Maxout networks. arXiv preprint arXiv:1302.4389。这种激活函数提出来，是为了解决dropout方法优化不方便，和准确...
tf.argmax函数
wuguangbin1230的博客
05-05 1044
tf.argmax(input, axis=None, name=None, dimension=None) 此函数是对矩阵按行或列计算最大值 参数 input：输入Tensoraxis：0表示按列，1表示按行name：名称dimension：和axis功能一样，默认axis取值优先。新加的字段 返回：Tensor  一般是行或列的最大值下标向量 import t
激活函数maxout
August-us的博客
03-18 4万+
激活函数maxout系列文章：   maxout函数相对于其他的激活函数有很大的区别，可以看做是在神经网络中激活函数的地方加入一个激活函数层。maxout可以看做是一个可学习的分段线性函数，因为可学习所以是需要参数的，而且参数是可以通过反向传播来学习的。因为参数量的增大，势必导致计算量的增大。   传统的神经网络从第i层输入到第i+1层，只需要训练一组权重参数，这些参数决定了上一层输入到到达这一层...
Maxout
xiaomiguan的博客
11-25 630
Reading Paper-Network In Network(1)-MaxoutThe maxout is designed to solve the problem that the representations that achieve good abstraction are generally highly nonlinear functions of the input data.
深度学习实战：TensorFlow入门到进阶
该书覆盖了从人工智能基础知识到深度学习实战的广泛内容，适合对深度学习感兴趣的读者学习。书中详细介绍了如何搭建TensorFlow开发环境，以及如何通过Anaconda在不同平台上安装TensorFlow，包括GPU版本的配置。此外...
《深度学习及其在生物医学中的应用》
LIYUO94的博客
07-22 1682
Deep Learning and Its Applications in Biomedicine paper abstract 生物和医学技术的进步为我们提供了爆炸性的生物和生理数据，如医学图像、脑电图、基因组和蛋白质序列。从这些数据中学习有助于理解人类的健康和疾病。基于深度学习的算法从人工神经网络发展而来，在从复杂数据中提取特征和学习模式方面显示出巨大的前景。本文的目的是提供深度学习技术和一些最先进的应用在生物医学领域的概述。本文首先介绍了人工神经网络和深度学习的发展现状。然后，我们描述了深度学习的两个
BP神经网络—从推导到实现
weixin_55712138的博客
08-29 984
目录 一、BP神经网络结构与原理 1 神经网络 1.1 神经网络的基本知识 1.2 神经网络的工作过程 2 前向传播 3 反向传播 4 BP算法原理及实施步骤 4.1 算法原理 4.2 实施步骤 二、实例编程实现（python语言） 三、推荐参考文献 一、BP神经网络结构与原理 1 神经网络 1.1 神经网络的基本知识 神经网络结构，总体上由三部分组成：输入层、隐藏层（为方便起见，图中给出一层，实际中可以有多层）和输出层。神经网络结构如下图所示（放两个图，方...
TensorFlow入门(二十五、单个神经元的扩展——Maxout网络)
最新发布
Victor_Li_的博客
10-12 843
Maxout是Goodfellow在2013年提出的一个新的激活函数,与其它的激活函数相比,Maxout是需要参数的,且参数可以通过网络的反向传播得到学习,因此它比其它激活函数有着更好的性能,理论上可以拟合任意凸函数,进而使得网络取得更好的性能。而Maxout网络是将激活函数变成一个网络选择器,原理是将多个神经元并列地放在一起,从它们的输出结果中找到最大的那个,代表对特征响应最敏感,然后取这个神经元的结果参与后面的运算。axis为计算方向,axis = 0时按列求最大值,axis = 1时按行求最大值。
机器学习中的数学——激活函数（九）：Maxout函数
冯·诺依曼
10-06 2万+
Maxout函数来源于ICML上的一篇文献《Maxout Networks》，它可以理解为是神经网络中的一层网络，类似于池化层、卷积层一样。我们也可以把Maxout函数看成是网络的激活函数层，我们假设网络某一层的输入特征向量为：x=(x1,x2,⋯ ,xd)x=(x_1, x_2, \cdots, x_d)x=(x1​,x2​,⋯,xd​)，也就是我们输入是ddd个神经元。Maxout函数的输出如下： Maxout(x)=max⁡(ωixi+bi)\text{Maxout}(x)=\max{(\omega
退化学习率实例，Maxout网络实现MNIST分类
Turbo_Come的博客
10-24 293
退化学习率实例： import tensorflow as tf global_step = tf.Variable(0, trainable = False) initial_learning_rate = 0.1 # 初始化学习率 # 退化学习率，tf.train.exponential_decay : 当前迭代到 global_step后， 学习率每一步都按照每10步去缩小到 0....
单个神经元的扩展——Maxout网络
实践求真知
05-04 1284
一 介绍Maxout网络可以理解为单个神经元的扩展，主要是扩展单个神经元里面的激活函数。Maxout是将激活函数变成一个网络选择器，原理就是将多个神经元并列地放在一起，从它们的输出结果中找到最大的那个，代表对特征相应最敏感，然后取这个神经元的结果参与后面的运算。下图是单个神经元和Maxout网络的对比它的公式可以理解成：z1=w1*x+b1z2=w2*x+b2z3=w3*x+b3z4=w4*x+b...
深度学习（二十三）Maxout网络学习
hjimce的专栏
12-27 6万+
Maxout网络学习 Maxout是深度学习网络中的一层网络，就像什么激活函数层、池化层、卷积层一样。我们假设网络某一层的输入特征向量为：X=（x1,x2,……xd），也就是我们输入是d个神经元。Maxout隐藏层每个神经元的计算公式如下： 上面的公式就是maxout隐藏层神经元i的计算公式。其中k就是maxout层所需要的参数了，由我们人为设定大小。就像dropout一样，也有自己的参数p(每个神经元dropout概率)，maxout的参数是k。公式中Z的计算公式为：
Tensorflow实战学习(十)【softmax分类】
极客神殿
11-19 3244
回答多选项问题，使用softmax函数，对数几率回归在多个可能不同值上的推广。函数返回值是C个分量的概率向量，每个分量对应一个输出类别概率。分量为概率，C个分量和始终为1。每个样本必须属于某个输出类别，所有可能样本均被覆盖。分量和小于1,存在隐藏类别；分量和大于1,每个样本可能同时属于多个类别。类别数量为2,输出概率与对数几率回归模型输出相同。变量初始化，需要C个不同权值组，每个组对应一个可能输出，
激活函数之maxout
gentelyang的博客
08-11 7279
https://blog.csdn.net/hjimce/article/details/50414467 这篇博客讲的很好，以后再整理。
TensorFlow之MNIST 分类以及Dropout的使用
黄鑫的博客
11-03 765
一、简单的一层神经网络 import tensorflow as tf #下载MNIST数据集（28*28，输入维度为784） from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets('MNIST_data', one_hot=True) #构建简单的一层神...
Tensorflow一些常用基本概念与函数（1）
热门推荐
lenbow的博客
08-08 15万+
摘要：本文主要对tf的一些常用概念与方法进行描述。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值