自定义层详解

最新推荐文章于 2022-08-02 17:28:23 发布
最新推荐文章于 2022-08-02 17:28:23 发布
阅读量625 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41375318/article/details/108296835
版权

自 定 义 层 详 解 自定义层详解 自定义层详解

自定义层初探

import tensorflow as tf

print(issubclass(tf.keras.Model,tf.Module))
print(issubclass(tf.keras.layers.Layer,tf.Module))
print(issubclass(tf.keras.Model,tf.keras.layers.Layer))

在这里插入图片描述
在这里插入图片描述

下面我们实现上面的线性层


import tensorflow as tf
#自定义全连接层
class Linear(tf.keras.layers.Layer):

    def __init__(self, units=32, input_dim=32):
        super(Linear, self).__init__() #
        w_init = tf.random_normal_initializer()
        self.w = tf.Variable(initial_value=w_init(shape=(input_dim, units),
                                                  dtype='float32'),
                             trainable=True)
        b_init = tf.zeros_initializer()
        self.b = tf.Variable(initial_value=b_init(shape=(units,),
                                                  dtype='float32'),
                             trainable=True)

    def call(self, inputs):
        return tf.matmul(inputs, self.w) + self.b


x = tf.ones((2, 2))

linear_layer = Linear(4, 2)
y = linear_layer(x)
print(y)

在这里插入图片描述

linear_layer.trainable_variables

在这里插入图片描述

linear_layer.w

在这里插入图片描述

linear_layer.b

在这里插入图片描述

案例详解

import tensorflow as tf
print(tf.__version__)

在这里插入图片描述

tf.test.is_gpu_available()

在这里插入图片描述

import tensorflow as tf
#Dense
class MyDense(tf.keras.layers.Layer):
    def __init__(self, units=32, **kwargs):
        self.units = units
        super(MyDense, self).__init__(**kwargs)

    #build方法一般定义Layer需要被训练的参数。    
    def build(self, input_shape): 
        self.w = self.add_weight(shape=(input_shape[-1], self.units),
                                 initializer='random_normal',
                                 trainable=True,
                                 name='w')
        self.b = self.add_weight(shape=(self.units,),
                                 initializer='random_normal',
                                 trainable=True,
                                 name='b')
        super(MyDense,self).build(input_shape) # 相当于设置self.built = True

    #call方法一般定义正向传播运算逻辑，__call__方法调用了它。    
    def call(self, inputs): 
        return tf.matmul(inputs, self.w) + self.b

    #如果要让自定义的Layer通过Functional API 组合成模型时可以序列化，需要自定义get_config方法。
    def get_config(self):  
        config = super(MyDense, self).get_config()
        config.update({'units': self.units})
        return config

from sklearn import datasets
iris = datasets.load_iris()
data = iris.data
labels = iris.target
# from sklearn.preprocessing import MinMaxScaler
# data=MinMaxScaler().fit_transform(data)

data[:5]

在这里插入图片描述

labels#(150,3)

在这里插入图片描述

#网络   函数式构建的网络
inputs = tf.keras.Input(shape=(4,))  
x = MyDense(units=16)(inputs) 
x = tf.nn.tanh(x) 
x = MyDense(units=3)(x) #0,1,2
# x= tf.keras.layers.Dense(16)(x)
predictions = tf.nn.softmax(x)
model = tf.keras.Model(inputs=inputs, outputs=predictions)


#shuffle:

import numpy as np

data = np.concatenate((data,labels.reshape(150,1)),axis=-1)
np.random.shuffle(data)

labels = data[:,-1]
data = data[:,:4]

#labels  ==[1,0,0]

#优化器 Adam
#损失函数 交叉熵损失函数
#评估函数 #acc


model.compile(optimizer=tf.keras.optimizers.Adam(),
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=[tf.keras.metrics.SparseCategoricalAccuracy()])

#keras
model.fit(data, labels, batch_size=32, epochs=100,shuffle=True)

在这里插入图片描述

# _custom_objects = {
#     "Mylayer" :  Line,
# }

model.summary()

在这里插入图片描述

model.save('keras_model_tf_version.h5')

_custom_objects = {
    "MyDense" :  MyDense,
    
}

new_model = tf.keras.models.load_model("keras_model_tf_version.h5",custom_objects=_custom_objects)

y_pred = new_model.predict(data)

np.argmax(y_pred,axis=1)

在这里插入图片描述

labels

在这里插入图片描述

实例

尝试自定义一个线性回归模型

在这里插入图片描述

from sklearn import datasets

iris = datasets.load_iris()

data = iris.data
target = iris.target

data.shape   # x

在这里插入图片描述

target.shape #y

在这里插入图片描述

方法1


import tensorflow as tf
#自定义全连接层
class Linear(tf.keras.layers.Layer):

    def __init__(self, units=1, input_dim=4):
        super(Linear, self).__init__() #
        w_init = tf.random_normal_initializer()
        self.w = tf.Variable(initial_value=w_init(shape=(input_dim, units),
                                                  dtype='float32'), 
                             trainable=True)
        b_init = tf.zeros_initializer()
        self.b = tf.Variable(initial_value=b_init(shape=(units,),dtype='float32'),trainable=True)

    def call(self, inputs):
        return tf.matmul(inputs, self.w) + self.b


x = tf.constant(data) #(150,4)
linear_layer = Linear(units = 1, input_dim=4) #()
y = linear_layer(x)
print(y.shape) #(150,1)

在这里插入图片描述

方法2

class Linear(tf.keras.layers.Layer):

    def __init__(self, units=1, input_dim=4):
        super(Linear, self).__init__()
        self.w = self.add_weight(shape=(input_dim, units),
                                 initializer='random_normal',
                                 trainable=True)
        self.b = self.add_weight(shape=(units,),
                                 initializer='zeros',
                                 trainable=True)

    def call(self, inputs):
        return tf.matmul(inputs, self.w) + self.b


x = tf.constant(data)
linear_layer = Linear(units = 1, input_dim=4)
y = linear_layer(x)
print(y.shape)

在这里插入图片描述

方法三

class Linear(tf.keras.layers.Layer):

    def __init__(self, units=32):
        super(Linear, self).__init__()
        self.units = units

    def build(self, input_shape): #(150,4)
        self.w = self.add_weight(shape=(input_shape[-1], self.units),
                                 initializer='random_normal',
                                 trainable=True)
        self.b = self.add_weight(shape=(self.units,),
                                 initializer='random_normal',
                                 trainable=True)
        super(Linear,self).build(input_shape)

    def call(self, inputs):
        return tf.matmul(inputs, self.w) + self.b
    
    
    
x = tf.constant(data) #150*4
linear_layer = Linear(units = 1)
y = linear_layer(x)
print(y.shape)

在这里插入图片描述

添加不可训练的参数

class Linear(tf.keras.layers.Layer):

    def __init__(self, units=32):
        super(Linear, self).__init__()
        self.units = units

    def build(self, input_shape):
        self.w = self.add_weight(shape=(input_shape[-1], self.units),
                                 initializer='random_normal',
                                 trainable=True)
        self.b = self.add_weight(shape=(self.units,),
                                 initializer='random_normal',
                                 trainable=False)
        super(Linear,self).build(input_shape)

    def call(self, inputs):
        return tf.matmul(inputs, self.w) + self.b
    
    
    
x = tf.constant(data)
linear_layer = Linear(units = 1)
y = linear_layer(x)
print(y.shape)

在这里插入图片描述

print('weight:', linear_layer.weights)
print('non-trainable weight:', linear_layer.non_trainable_weights)
print('trainable weight:', linear_layer.trainable_weights)

在这里插入图片描述

*Major*
关注
深度学习6-自定义层详解
柳杰的博客
09-25 1424
文章目录1.如何自定义层2.三种方法自定义层方法一方法二方法三添加不可训练参数3.自定义层的注意事项注意一注意二注意三注意四注意五4.案例讲解 1.如何自定义层 2.三种方法自定义层 方法一 import tensorflow as tf #自定义全连接层 class Linear(tf.keras.layers.Layer): def __init__(self, units=1, input_dim=4): super(Linear, self).__init
tf更新tensor/自定义层
weixin_30672019的博客
01-29 167
修改Tensor特定位置的值 如 stack overflow 中提到的方案。 TensorFlow不让你直接单独改指定位置的值，但是留了个歪门儿，就是tf.scatter_update这个方法，它可以批量替换张量某一维上的所有数据。 def set_value(matrix, x, y, val): # 提取出要更新的行 row = tf.gather(matrix, x) ...
第5讲 使用pytorch实现线性回归
weixin_43786637的博客
08-02 640
使用pytorch实现线性回归
Tensorflow 教程笔记---Custom layers
便纵有千种风情
02-09 2174
import tensorflow as tf tf.enable_eager_execution() Layers: common sets of useful operations # In the tf.keras.layers package, layers are objects. To construct a layer, # simply construct the object...
Keras深度学习框架介绍（结束）
微电子学与固体电子学-俞驰
07-09 974
keras是一个开源是的python深度学习库，可以基于theano或者tenserflow，下面大体介绍下keras的几个重要模块。 重要的模块 1、优化器（optimizers） 优化器是调整每个节点权重的方法，看一个代码示例： ? 1 2 3 4 model = Sequential() model.add(Dense(64, init='uniform', input_dim=10)) model.add(Activation(
Keras中几个重要函数用法
一花一世界 一叶一菩提
04-28 6万+
一般模块都需导入包： from keras.models import Sequential from keras.layers import Dense, Dropout, Activation, Flatten from keras.layers import Convolution2D, MaxPooling2D from keras.layers import Embedding, LS
Android 自定义SurfaceView详解
09-01
2. **独立的绘图表面**：`SurfaceView`创建了一个独立于应用程序窗口的显示层，这意味着即使应用程序窗口被遮挡，绘图表面仍然可以继续更新。 3. **SurfaceHolder接口**：`SurfaceView`与`SurfaceHolder`接口紧密...
Android自定义照相机详解
09-02
1. 创建布局：通常使用SurfaceView作为预览层，可以添加其他UI元素如拍照按钮、闪光灯开关等。 2. 初始化相机：获取Camera对象并设置预览界面。 3. 配置相机参数：如分辨率、焦距、白平衡等，可以使用Camera....
jsp中自定义Taglib详解
10-22
在Java服务器页面（JSP）开发中，自定义Taglib是一种强大的工具...自定义Taglib是JSP中一个非常重要的特性，它允许开发者以声明式的方式处理页面逻辑，降低了视图层与控制层的耦合度，提高了代码的可维护性和可扩展性。
蓝桥杯习题笔记-入门训练
huhuhuhuhuhu_hu的博客
10-05 521
蓝桥杯练习-入门训练Fibonacci数列圆的面积序列求和A+B问题 Fibonacci数列 问题描述 Fibonacci数列的递推公式为：Fn=Fn-1+Fn-2，其中F1=F2=1。 当n比较大时，Fn也非常大，现在我们想知道，Fn除以10007的余数是多少。 输入格式 输入包含一个整数n。 输出格式 输出一行，包含一个整数，表示Fn除以10007的余数。 说明：在本题中，答案是要求Fn除以10007的余数，因此我们只要能算出这个余数即可，而不需要先计算出Fn的准确值，再将计算的结果除以10007取余数
DeepLearning tutorial（6）易用的深度学习框架Keras简介
wepon的专栏
04-30 6万+
之前我一直在使用Theano，前面五篇Deeplearning相关的文章也是学习Theano的一些笔记，当时已经觉得Theano用起来略显麻烦，有时想实现一个新的结构，就要花很多时间去编程，所以想过将代码模块化，方便重复使用，但因为实在太忙没有时间去做。最近发现了一个叫做Keras的框架，跟我的想法不谋而合，用起来特别简单，适合快速开发。（其实还有很多其他的深度学习框架都是比较容易用的。）1. Ke
Keras 自定义层时遇到版本问题
orDream的博客
09-24 2898
在2.2.0版本前， from keras import backend as K from keras.engine.topology import Layer class MyLayer(Layer): def __init__(self, output_dim, **kwargs): self.output_dim = output_dim s...
pytorch_神经网络模型搭建系列（2）：自定义神经网络层
xgxg1314的博客
12-15 2470
目录1、nn.Module——搭建属于自己的神经网络1.1 回顾系统预定义的层1.1.1 最常用的Linear层1.1.2 Conv2d类的源代码1.1.3 小结1.1.4 自定义层的基本步骤1.2 简单实现-自定义层1.2.1 第一步：定义一个的层（即一个类）1.2.2 第二步：定义一个神经网络模型1.2.3 第三步：训练模型1.2.4 小结1.3 补充：model.parameters()和model.state_dict()1.3.1 model.parameters()1.3.2 model.sta
Keras上实现简单线性回归模型
marsjhao Blog
03-27 3万+
神经网络可以用来模拟回归问题 (regression)，实质上是单输入单输出神经网络模型，例如给下面一组数据，用一条线来对数据进行拟合，并可以预测新输入 x 的输出值。 一、详细解读 我们通过这个简单的例子来熟悉Keras构建神经网络的步骤： 1.导入模块并生成数据 首先导入本例子需要的模块，numpy、Matplotlib、和keras.models、keras.layers
Keras学习笔记（一）
热门推荐
jiantsing的专栏
05-23 7万+
1.Dense 全连接层（对上一层的神经元进行全部连接，实现特征的非线性组合） keras.layers.core.Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_r
[神经网络]keras中的层
PJZero
02-21 1万+
Core 全连接层：Dense Activation层：对一个层的输出添加激活函数 Dropout层：每次更新参数的时候随机断开一定百分比(b)的输入神经元连接，用于防止过拟合 Flatten层：用来将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。 Reshape层：用来将输入shape转换为特定的shape Permute层：将输入的维度按照给定模式进行重排，例如，当需要将R
Keras.layers各种层介绍
Su_Del的博客
04-19 2393
Keras.layers各种层介绍 原文链接：https://www.cnblogs.com/peng8098/p/keras_7.html 一、网络层 keras的层主要包括： 常用层（Core）、卷积层（Convolutional）、池化层（Pooling）、局部连接层、递归层（Recurrent）、嵌入层（ Embedding）、高级激活层、规范层、噪声层、包装层，当然也可以编写自己的层。 对于层的操作 layer.get_weights() #返回该层的权重（numpy array） layer.s
tf.keras.activations.linear（八）
TJMtaotao的博客，高校计算机教师
04-25 1386
tf.keras.activations.linear tf.keras.activations.linear(x) Defined intensorflow/python/keras/activations.py. @tf_export('keras.activations.linear') def linear(x): return x ...
jQuery自定义弹出层效果实现详解
"jQuery实现的自定义弹出层效果实例详解" 在网页设计中，弹出层（也称为对话框或模态窗口）是一种常见的交互元素，用于展示重要的信息、警告、确认操作或者进行表单输入等。jQuery库提供了一种高效且灵活的方式来...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值