Tensorflow(十六) —— 全连接层

本文介绍了TensorFlow中全连接层(Dense)的使用,包括如何构建、理解和调整权重及偏置。通过示例展示了如何指定输入形状来确定权重矩阵和偏置向量的形状,并探讨了不同输入形状对网络的影响。此外,还讲解了如何构建多层神经网络(Sequential模型),包括模型构建、训练变量和总结。内容基于龙龙老师的深度学习与TensorFlow2入门实战课程。
摘要由CSDN通过智能技术生成

Tensorflow(十六) —— 全连接层

1. 全连接层

import tensorflow as tf
from tensorflow import  keras
# **************** fully connected layers
x = tf.random.normal([1000,784])
net = keras.layers.Dense(512)
out = net(x)

print("out:",out.shape)
print("kernel:",net.kernel.shape)
print("bias:",net.bias.shape)

# 指定layers的输入形状,可多次指定,指定后则可确定kernel和bias的shape
net = keras.layers.Dense(10)

try:
    net.kernel.shape
except Exception as error:
    print("error:",error)

net.build(input_shape = [None,4])
print("1:",net.kernel.shape)

net.build(input_shape = [None,100])
print("2:",net.kernel.shape)

net.build(input_shape=(100,20))
print("3:",net.kernel.shape)

try:
    net(tf.random.normal((100,30)))
except Exception as error:
    print("error2:",error)
out = net(tf.random.uniform([100,20]))
print(out.shape)

2. Multi Layers

# ****************** Multi Layers
"""
keras.Sequential([layer1,layer2,layer3,...,layern])
"""
model = keras.Sequential([
    keras.layers.Dense(2,activation = "relu"),
    keras.layers.Dense(2,activation = "relu"),
    keras.layers.Dense(2)
])

model.build(input_shape = [None,3])

print(model.summary())

print(model.trainable_variables)
"""
[w1,b1,w2,b2,w3,b3]
"""

for p in model.trainable_variables:
    print(p.name,p.shape)

本文为参考龙龙老师的“深度学习与TensorFlow 2入门实战“课程书写的学习笔记

by CyrusMay 2022 04 16

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
TensorFlow中,可以使用正则化来减轻过拟合问题。全连接层的正则化代码可以使用tf.contrib.layers提供的函数来实现。其中,tf.contrib.layers.l1_regularizer(scale, scope=None)用于L1型正则化,tf.contrib.layers.l2_regularizer(scale, scope=None)用于L2型正则化。 下面是使用L2型正则化对全连接层进行正则化的代码示例: ``` import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 创建全连接层 def create_fully_connected_layer(input_data, num_units, activation_function=None, regularizer=None): weights = tf.get_variable("weights", shape=[input_data.shape<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [tensorflow中的正则化](https://blog.csdn.net/qq_26449287/article/details/102753594)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [简洁明了的tensorflow2.0教程——正则化操作](https://blog.csdn.net/JohnLeeK/article/details/106335532)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值