六、神经网络

最新推荐文章于 2023-05-28 08:06:45 发布

coder_jyz

最新推荐文章于 2023-05-28 08:06:45 发布

阅读量242

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/coder_jyz/article/details/119846495

版权

这篇博客主要介绍了神经网络的相关概念，包括感知机全连接层、神经网络的张量和层实现、各种激活函数如Sigmoid、ReLU、LeakyReLU和Tanh的特性。此外，还探讨了输出层设计的不同策略，如概率分布和Softmax函数的应用。博客还涵盖了卷积神经网络、循环神经网络、注意力机制网络以及图卷积神经网络等深度学习模型，并提醒读者学习时要注意避免本末倒置。

摘要由CSDN通过智能技术生成

六、神经网络

内容参考来自https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book开源书籍《TensorFlow2深度学习》，这只是我做的简单的学习笔记，方便以后复习

1.感知机全连接层

张量方式实现

# 创建 W,b 张量
x = tf.random.normal([2,784])
w1 = tf.Variable(tf.random.truncated_normal([784, 256], stddev=0.1))
b1 = tf.Variable(tf.zeros([256]))
o1 = tf.matmul(x,w1) + b1 # 线性变换
o1 = tf.nn.relu(o1) # 激活函数

层方式实现

x = tf.random.normal([4,28*28])
from tensorflow.keras import layers # 导入层模块
# 创建全连接层，指定输出节点数和激活函数
fc = layers.Dense(512, activation=tf.nn.relu)
h1 = fc(x) # 通过 fc 类实例完成一次全连接层的计算，返回输出张量

可以通过类的tf.trainable_variables 来返回待优化参数列表。

可以通过tf.non_trainable_variables 成员返回所有不需要优化的参数列表。

如果希望获得所有参数列表，可以通过类的 tf.variables 返回所有内部张量列表。

2.神经网络

张量方式实现

# 隐藏层 1 张量
w1 = tf.Variable(tf.random.truncated_normal([784, 256], stddev=0.1))
b1 = tf.Variable(tf.zeros([256]))
# 隐藏层 2 张量
w2 = tf.Variable(tf.random.truncated_normal([256, 128], stddev=0.1))
b2 = tf.Variable(tf.zeros([128]))
# 隐藏层 3 张量
w3 = tf.Variable(tf.random.truncated_normal([128, 64], stddev=0.1))
b3 = tf.Variable(tf.zer