TensorfFlow2【5】常用网络层，激活函数，优化器

已于 2022-11-17 15:39:10 修改
阅读量713 收藏 7
点赞数 1
分类专栏： Tensorflow2框架学习 文章标签： tensorflow 深度学习 计算机视觉
于 2022-11-03 09:55:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63462829/article/details/127664474
版权

一.模型网络层

1.全连接层

tf.keras.layers.Dense(
	input_dim/input_shape,					# 输入的个数(第一层要写，其它层可以不写)
	units,									# 输出的个数
	activation=None,						# 激活函数名称或实例，详见激活函数
	kernel_initializer='glorot_uniform',	# 参数初始化，详见参数初始化
	kernel_regularizer=None,				# 参数的正则化规则。'l1'/'l2'，详见正则化
	use_bias=True,							# 卷积层后有BatchNorm或者InstanceNorm层时，最好设为False
	bias_initializer='zeros',				# 偏置量初始化
	bias_regularizer=None,					# 偏置的正则化
	activity_regularizer=None,				# 激活函数正则化
	kernel_constraint=None,
	bias_constraint=None,
	name
)

2.卷积层

tf.keras.layers.Conv2D/Convolution2D(
    filters,			# 卷积核的数量，对应输出特征图的通道数
    kernel_size,		# 卷积核的尺寸(整数或元组)
    strides,			# 步长(整数或元组)
    padding='valid',	# padding方式，'same','valid'
    activation=None,	# 激活函数
)

3.池化层

  • 最大池化(Max-Pooling)：提取池化窗口区域内的最大值
  • 平均池化(Mean-pooling)：提取池化窗口区域内的平均值
  • 随机池化(Stochastic-Pooling)：随机提取池化窗口区域内的一个值(很少用)
tf.keras.layers.MaxPooling2D/MaxPool2D(
	pool_size=(2, 2),		# 池化窗口大小
	strides=None,			# 移动步长，默认和`pool_size`一样
	padding='valid',		# padding方式
	**kwargs
	input_shape=(28,28,1)	# 单张图的行列通道数(只加在第一个卷积层)
)
tf.keras.layers.AveragePooling2D/AvgPool2D(
	pool_size=(2, 2),		# 池化窗口大小
	strides=None,			# 移动步长，默认和`pool_size`一样
	padding='valid',		# padding方式
	**kwargs
)

4.BN层

tf.keras.layers.BatchNormalization(
    epsilon=1e-3,				# 默认0.001。防止分母为0
    gamma_initializer='ones',	# 线性变换γ的初始值
    beta_initializer='zeros',	# 线性变换β的初始值
    scale=True,					# 默认True。是否启用线性变换的γ
    center=True,				# 默认True。是否启用线性变换的β
)

5.Dropout(属于正则化的一种)

tf.keras.layers.Dropout(floatRate)	# floatRate浮点数类型，所有神经元失活的比例

6.ZeroPadding2D

tf.keras.layers.ZeroPadding2D(
    padding,	# 扩充边界，3种输入方式
    				# 整数：以上下、左右对称的方式填充0
   						 # 例子：1，表示上下各填充一行0，即：行数加2；左右各填充一列0，即：列数加2
    				# 2个整数的元组：第一个整数表示上下对称的方式填充0；第二个整数表示左右对称的方式填充0
    					# 例子：(1,2)，表示上下各填充一行0，即：行数加2；左右各填充一列2，即：列数加4
   					# 2个整数的2个元组的元组：表示 ((top_pad, bottom_pad), (left_pad, right_pad))
    data_format='channels_last',	# 表示输入中维度的顺序。
    	# channels_last 对应输入形状 (batch, height, width, channels)
    	# channels_first 对应输入尺寸为 (batch, channels, height, width)。
)

7.UpSampling2D

tf.keras.layers.UpSampling2D(
    size,	# 2种输入方式
    			# 整数：上采样后行列都是原来的整数倍
    			# 2个整数的元组：上采样后行列都是原来的整数倍
    				# 例子：(1,2)，行数是原来的1倍；列数是原来的2倍
    data_format='channels_last',	
    		# 表示输入中维度的顺序,“channels_last” (默认) 或 “channels_first”
    			# channels_last 对应输入形状 (batch, height, width, channels)
    			# channels_first 对应输入尺寸为 (batch, channels, height, width)。
    interpolation='nearest':
    		# 插值方式`nearest`(默认) or `bilinear`.
)

8.Conv2DTranspose

tf.keras.layers.Conv2DTranspose(
    filters:				# 整数, 输出的维度
    kernel_size: 			# 整数或元组,卷积核大小
    strides:				# 整数或元组,步长
    padding:				# "valid"`or`"same"`
    activation: 			# 激活函数,非必须
    use_bias:				# 是否使用偏置
	kernel_initializer: 	# 卷积核初始化方式(详见 `keras.initializers`).
	kernel_regularizer,		# 卷积核正则方式(详见 `keras.regularizers`).
)

9.Embedding

作用：获取每个词对应的词向量，对于多分类图片来说就是获取每个图在每个类对应的类别向量，将正整数(索引)转换为固定大小的稠密向量。
注意：只能被用在网络的第一层

# 实例化输入与输出(batch_size,input_length) -->(batch_size,input_length,output_dim)
tf.keras.layers.Embedding(
	input_dim, 词汇表大小（或类别总数）
	output_dim, 稠密嵌入矩阵的维度,即词语向量的维度（或转换后的输出通道数）
	input_length=None,表示文本词序列的长度（单个样本的特征数）(后面接Dense是必须设置该参数)
	embeddings_initializer='uniform'
)

10.GlobalAveragePooling2D

(NHWC)->(NC) 全局平均，每个通道得出一个平均数，返回通道个数

input_shape = (2, 4, 5, 3)
x = tf.random.normal(input_shape)
y = tf.keras.layers.GlobalAveragePooling2D()(x)
print(y.shape)	# (2, 3)

二.激活函数

x = np.linespace(-10,10,1000)

y = tf.nn.sigmoid(x)	# sigmoid [0,1]
y = tf.nn.tanh(x)		# tanh [-1,1]
y = tf.nn.relu(x)		# tanh (x≤0，y=0;x>0,y=x)
y = tf.nn.leaky_relu(x)	# leakrelu (x≤0，y=-αx;x>0,y=x)
y = tf.nn.softmax(x)	# softmax
或
tf.keras.activations.*

三.参数初始化

对于神经网络来说，需要初始化的参数有两类：权重W与偏置B，B一般为0。
初始化种类：

  • 随机(/正态)初始化：随机初始化从均值为0，标准差是1的高斯分布中取样，使用一些很小的值对参数W进行初始化
  • 标准初始化：标准初始化从区间(-1/√d,1/√d)均匀分布生产的权重中随机取值，d为每个神经元的输入数量。

使用方式：

  • 一般使用：
    • initializer = tf.keras.initializers.glorot_nonrmal()
    • values = initializer(shape=(2, 2))
  • 网络层中使用：
    • initializer = tf.keras.initializers.glorot_nonrmal()
    • layer = tf.keras.layers.Dense(3, kernel_initializer=initializer)

Glorot初始化和Kaiming初始化

# 1.Xavier(Glorot初始化)
	# 基本思想是各层的 激活值 和 梯度的方差 在传播过程中保持一致。
	initializer = tf.keras.initializers.glorot_nonrmal()
	initializer = tf.keras.initializers.glorot_uniform()
# 2.He(Kaiming初始化)
	# 基本思想是正向传播时，激活值的方差保持不变；反向传播时，关于状态值的梯度的方差保持不变。
	initializer = tf.keras.initializers.he_nonrmal()
	initializer = tf.keras.initializers.he_uniform()

四.正则化(过拟合问题)

1.L1和L2回归(适用浅机器学习)

l1 = tf.keras.regularizers.l1(l1=0.01)
l2 = tf.keras.regularizers.l2(l2=0.01)
l12 = tf.keras.regularizers.l1_l2(l1=0.01,l2=0.01)
model.add(tf.keras.layers.Dense(16,kernel_regularizer=l1,activation='relu'))

2.Dropout

3.BN

五.损失函数

bce = tf.keras.losses.BinaryCrossentropy()			# 二分类 'binary_crossentropy'
cce = tf.keras.losses.CategoricalCrossentropy()		# 多分类 'categorical_crossentropy'
mae = tf.keras.losses.MeanAbsoluteError()			# 回归 'mae'
mse = tf.keras.losses.MeanSquaredError()			# 回归 'mse'
smoothL1 = tf.keras.losses.Huber()					# 回归 'huber_loss'

六.优化器

# 1.SGD(小批量数据集)
tf.keras.optimizers.SGD(
    learning_rate		# 学习率，默认为0.01
    momentum			# Momentum动量算法参数，默认为0
    nesterov			# 是否使用Nesterov动量，默认false
    name				# 应用名称，默认'SGD'
)

# 2.Momentum(对梯度进行修正，保留之前的更新方向，增加稳定性)
tf.keras.optimizers.SGD(learning_rate=0.01,momentum=0.9)

# 3.AdaGrad(训练时自动修正学习率)
tf.keras.optimizers.Adagrad(
    learning_rate=0.001,
    epsilon=1e-07,
    initial_accmulator_value=0.1	# 加速器起始值必须为非负值
)

# 4.RMSprop(优化AdaGrad,加快速度)
tf.keras.optimizers.RMSprop(
    learning_rate=0.001,
    rho=0.9,	# β的值
    epsilon=1e-07,
    centered=False,
    momentum=0.0
)

# 5.Adam(对梯度和学习率都修正)
tf.keras.optimizers.Adam(
    learning_rate=0.001,	# α
    beta_1=0.9,		# β1
    beta_2=0.999,	# β2
    epsilon=1e-7
)

五.学习率退火(学习率随着训练而变化)

# 1.分段常数衰减
lrfn = tf.keras.optimizers.schedules.PiecewiseConstantDecay(
    boundaries,		# 分段更新的区间。例如 [1000,1100]
    values			# 不同区间的学习率   例如 values=[0.1,0.01,0.001]
)
# 2.指数衰减(α=α0e^(step / decay_steps))
lrfn = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,		# 初始学习率α0
    decay_steps=100000,			# k值
    decay_rate=0.96,				# 指数的底e
    staircase=True
)
# 3.1/t衰减(α=α0/(1+kt))
lrfn = tf.keras.optimizers.schedules.InverseTimeDecay(
    initial_learning_rate=0.1,	# 初始学习率α0
    decay_steps=1,				# k=decay_rate/decay_steps
    decay_rate=0.5
)

# 使用
model.compile(
    optimizer=tf.keras.optimizers.SGD(learning_rate=lrfn),
    loss='sparse_categorical_crossentropy',
    metrics=['accuracy']
)

六.回调函数

# 1.EarlyStopping
tf.keras.callbacks.EarlyStopping(
    monitor='val_loss',	# 默认监控验证集损失率来进行提前停止。'val_accuracy','loss','accuracy'
    patience=0,			# 被监控属性没有连续提高或下降便停止的周期数
    verbose=0			# 等于1时，停止训练时提示 early stopping
)
# 使用
es = tf.keras.callbacks.EarlyStopping(monitor='val_loss',patience=10,verbose=1)
model.fit(x,y,epochs=10,batch_size=32,validation_data=(x_test,y_test),callbacks=[es])

简单总结一下

1.激活函数的选择

  • 隐藏层：

    • 优先选择RELU激活函数(注意Dead Relu问题采用Xavier初始化方法)
    • 其次LeakRule
    • 可以使用tanh激活函数
    • 不能使用sigmoid激活函数

  • 输出层：

    • 二分类 ---- sigmoid 激活函数
    • 多分类 ---- softmax 激活函数
    • 回归 ------- linear线性激活函数
    • 其他 tanh

  • Dead Relu问题解决

    • 使用LeakRule
    • 使用L2正则化
    • 采用Xavier初始化方法

2.损失函数的选择

  • 二分类 ---- BinaryCrossentropy 二分类交叉熵损失函数
  • 多分类 ---- CategoricalCrossentropy 多分类交叉熵损失函数
  • 回归 ------- MAE，MSE，HUBER 损失函数

3.优化器选择

​ Adam

TensorFlow2 入门指南 | 09 损失函数、梯度下降、优化器选择
不积跬步，无以至千里！
06-07 1718
《TensoeFLow2从零到一》，深度学习工程师的快速入门指南！
YOLOv5/v7 更换激活函数
热门推荐
YOLOv8项目贡献者
04-26 2万+
教你YOLOv5/v7更换激活函数
链表
weixin_38477351的博客
03-07 268
链表
AI学习指南深度学习篇-SGD的Python实践
最新发布
俞兆鹏的博客
09-07 443
在深度学习中，我们通常需要最小化损失函数来训练模型。梯度下降是一种常见的优化算法，其基本思想是沿着梯度的反方向更新模型参数，减小损失函数的值。而随机梯度下降是梯度下降的一种改进版本，每次更新参数时只利用一小部分样本数据，从而减少计算量和加速训练过程。本文介绍了SGD优化算法在深度学习中的应用，以及如何使用TensorFlow进行SGD的实现和调参过程。希望对初学者有所帮助，同时也欢迎大家进一步探讨和学习深度学习领域的知识。
tensorflow学习笔记（2）：激活函数
qq_39683748的博客
11-09 369
官方解释： http://www.tensorfly.cn/tfdoc/api_docs/python/nn.html tf.nn.relu(features, name=None) ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题(Vanishing Gradient Problem)，使得模型的收敛速度维持在一个稳定状态。 优点： 收敛速度会比 sigmoid/tanh 快...
tensorflow(2)-优化函数
qq_27163197的博客
11-07 715
API
TensorFlow2学习笔记：5、常用激活函数
学习，是熵减的最有效途径。
07-23 562
在神经网络中的每个神经元节点，接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为。所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。一个节点的激活函数(ActivationFunction)定义了该节点在给定的输入或输入的集合下的输出。...
Pytorch——常用的神经网络层、激活函数
zhenaoxi1077的博客
07-06 1万+
一、常用的神经网络层 1。图像相关层 1）卷积层 2）池化层 3）Linear:全连接层； 4）BatchNorm: 批规范化层，分为1D,2D,3D.除了标准的BatchNorm之外，还有在风格迁移中常用到的InstanceNorm. 5）Dropout：dropout层，用来防止过拟合，同样分为1D,2D,3D. 二、激活函数 三、多层网络 Sequential的三种写法 Mod...
pytorch 常见的网络层（卷积层，池化层，线性层，激活函数）
qq_40107571的博客
09-01 1955
pytorch 常见的网络层（卷积层，池化层，线性层，激活函数）的介绍
【神经网络】激活函数的选择
风口IT猪的成长录
08-12 2428
神经网络：激活函数1. 激活函数的选择2. 为什么需要非线性的激活函数？3. 优化算法 1. 激活函数的选择 涉及到网络的优化时候，会有不同的激活函数选择有一个问题是神经网络的隐藏层和输出单元用什么激活函数。之前我们都是选用 sigmoid 函数，但有时其他函数的效果会好得多，大多数通过实践得来，没有很好的解释性。 请参考：初识：神经网络 可供选用的激活函数有： tanh 函数（the hyperbolic tangent function，双曲正切函数）： 效果比 sigmoid 函数好,因为函数输
机器学习中常用的激活函数
hcxddd的博客
07-26 2030
常见的激活函数总结一.什么是激活函数？度娘定义：狐仙定义：二.为什么要用激活函数？三.激活函数应该具有的性质四.常见的激活函数1.Sigmoid函数2.Tanh函数3.ReLU函数4.小结 一.什么是激活函数？ 度娘定义： 激活函数（Activation functions）对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增
【Tensorflow学习二】神经网络优化方法学习率、激活函数、损失函数、正则化
chp的博客
12-06 1878
神经网络优化方法学习率、激活函数、损失函数、正则化 np.vstack() 将数组按照垂直方向叠加 np.mgrid[ ] np.ravel( ) np.c_[ ] 一起使用可以生成网格坐标点 复杂度、学习率 复杂度 可以先用较大的学习率，快速得到最优解，然后逐步减小学习率，使得模型在训练后期稳定 指数衰减学习率=初试学习率∗学习率衰减率当前轮数/多少轮衰减一次 指数衰减学习率=初试学习率*学习率衰减率^{当前轮数/多少轮衰减一次} 指数衰减学习率=初试学习率∗
TensorFlow优化器及用法
吴建明wujianming_110117
01-30 912
TensorFlow优化器及用法 函数在一阶导数为零的地方达到其最大值和最小值。梯度下降算法基于相同的原理，即调整系数（权重和偏置）使损失函数的梯度下降。 在回归中，使用梯度下降来优化损失函数并获得系数。本文将介绍如何使用 TensorFlow 的梯度下降优化器及其变体。 按照损失函数的负梯度成比例地对系数（W 和 b）进行更新。根据训练样本的大小，有三种梯度下降的变体： Vanilla 梯度下降：在 Vanilla 梯度下降（也称作批梯度下降）中，在每个循环中计算整个训练集的损失函数的梯度。该方法可能很
【TensorFlow2.x系列第3篇】TensorFlow2.0-深度学习中的激活函数
小知的博客
01-06 1116
对于激活函数的应用是比较熟悉和频繁的，但一直以来没有系统性地把深度学习中地激活函数做一个总结，因此小知同学特地对常用的激活函数做一个比较全面的总结，在讲述理论的同时，也根据激活函数的公式进行编程实现 激活函数概念 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。 什么是激活函数 激活函数（Activation fu...
20、TensorFlow教程--- 优化器
Knowledgebase的博客
10-01 310
优化器是扩展类，其中包含训练特定模型所需的附加信息。优化器类使用给定的参数进行初始化，但重要的是要记住不需要 Tensor。优化器用于提高训练特定模型的速度和性能。- 带梯度剪切的随机梯度下降（Stochastic Gradient Descent with Gradient Clipping）这个类在 tensorflow/python/training/optimizer.py 的指定路径中定义。在我们的后续章节中，我们将专注于梯度下降优化以及优化器的实现。TensorFlow 的基本优化器是 −。
【TensorFlow 入门】2、优化器函数 Optimizer
呆呆的猫的博客
02-02 1万+
因为大多数机器学习任务就是最小化损失，在损失定义的情况下，后面的工作就交给了优化器。因为深度学习常见的是对于梯度的优化，也就是说，优化器最后其实就是各种对于梯度下降算法的优化。 常用的optimizer类 Optimizer GradientDescentOptimizer AdagradOptimizer AdagradDAOptimizer MomentumOptimi
Tensorflow——优化器的使用
鬼刀
01-10 1759
对于Tensorflow中的优化器（Optimizer），目前已有的有以下： tf.train.GradientDescentOptimizer()       常用的梯度下降法 tf.train.Adadeltatimizer() tf.train.Adagradoptimizer() tf.train.AdagradDAOptimizer() tf.train.MomentumOpt...
TensorFlow笔记：激活函数
imbabao的博客
10-01 615
tf.nn.sigmid()函数 函数表达式 f(x)=11+e−x f(x) = \frac{1}{1 + e^{-x}} f(x)=1+e−x1​ 函数图像 函数性质 对其求导可得到 f′(x)=f(x)(1−f(x))f'(x) = f(x)(1 - f(x))f′(x)=f(x)(1−f(x)) sigmoid函数取值范围在 (0, 1) 区间内，常用于输出层进行二分类...
TensorFlow2.1入门学习笔记(6)——激活函数
Moon小木
05-20 738
个人博客：wyxogo.top np.random.RandomState.rand(维度) 返回一个[0, 1)之间的随机数 np.vstack(数组1，数组2) 将两个数组按垂直方向叠加 np.mgrid[] np.mgrid[起始值 : 结束值 : 步长，起始值 : 结束值 : 步长, ……] 包含起始值，不包含结束值x.ravel() 将x变为一维数组，将变量拉直np.c_[数组1，数组2，……] 使返回的间隔数值点配对 运行结果： 选择合适的学习率来更新参数 运行结果： 简化模型始终是线性函数，
激活函数：非线性转折的关键
因此，可以说，激活函数是神经网络能够解决非线性问题的关键组件，它不仅增强了模型的表达能力，而且有助于优化模型的学习过程，使得神经网络在实际应用中展现出强大的性能。总结来说，激活函数的作用在于引入非线性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值