TensorFlow2 手把手教你实现前向传播_tensorflow改写forward

最新推荐文章于 2024-05-02 15:02:51 发布

2401_84181626

最新推荐文章于 2024-05-02 15:02:51 发布

阅读量684

点赞数 13

文章标签： tensorflow 人工智能 python

本文链接：https://blog.csdn.net/2401_84181626/article/details/138237005

版权

本文手把手教你使用TensorFlow2实现前向传播，包括定义超参数、读取MNIST数据集、转换为常量tensor、数据集分割、创建权重和bias等步骤，详细介绍了每一步的操作和代码实现。

摘要由CSDN通过智能技术生成


输出结果:

1
2
3


### 截断正态分布


`truncated_normal`可以帮助我们生成一个截断的正态分布. 生成的正态分布值会在两倍的标准差的范围之内.


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210609080037547.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI3NDE2OA==,size_16,color_FFFFFF,t_70)  
 格式:

tf.random.truncated_normal(
shape, mean=0.0, stddev=1.0, dtype=tf.dtypes.float32, seed=None, name=None
)


参数:


* shape: 张量的形状
* mean: 正态分布的均值, 默认 0.0
* stddev: 正态分布的标准差, 默认为 1.0
* dtype: 数据类型, 默认为 float32
* seed: 随机数种子
* name: 数据名称


### relu 激活函数


激活函数有 sigmoid, maxout, relu 等等函数. 通过激活函数我们可以使得各个层之间达成非线性关系.  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210609083857832.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI3NDE2OA==,size_16,color_FFFFFF,t_70)  
 激活函数可以帮助我们提高模型健壮性, 提高非线性表达能力, 缓解梯度消失问题.


### one\_hot


`tf.one_hot`函数是讲 input 准换为 one\_hot 类型数据输出. 相当于将多个数值联合放在一起作为多个相同类型的向量.


格式:

tf.one_hot(
indices, depth, on_value=None, off_value=None, axis=None, dtype=None, name=None
)


参数:


* indices: 索引的张量
* depth: 指定独热编码维度的标量
* on\_value: 索引 indices[j] = i 位置处填充的标量，默认为 1
* off\_value: 索引 indices[j] != i 所有位置处填充的标量, 默认为 0
* axis: 填充的轴, 默认为 -1 (最里面的新轴)
* dtype: 输出张量的数据格式
* name：数据名称


### assign\_sub


`assign_sub`可以帮助我们实现张量自减.


格式:

tf.compat.v1.assign_sub(
ref, value, use_locking=None, name=None
)


参数:


* ref: 多重张量
* value: 张量
* use\_locking: 锁
* name: 数据名称


## 准备工作


![在这里插入图片描述](https://img-blog.csdnimg.cn/20210609105243292.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjI3NDE2OA==,size_16,color_FFFFFF,t_70#pic_center)

import tensorflow as tf