关于用keras提取NN中间layer输出

最新推荐文章于 2024-03-03 19:12:43 发布
最新推荐文章于 2024-03-03 19:12:43 发布
阅读量1k 收藏 2
点赞数
分类专栏： Keras学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fukaiqi1010/article/details/89855623
版权 
Build model...
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
main_input (InputLayer)         (None, 89, 39)       0                                            
__________________________________________________________________________________________________
cropping1d_1 (Cropping1D)       (None, 85, 39)       0           main_input[0][0]                 
__________________________________________________________________________________________________
cropping1d_2 (Cropping1D)       (None, 85, 39)       0           main_input[0][0]                 
__________________________________________________________________________________________________
cropping1d_3 (Cropping1D)       (None, 85, 39)       0           main_input[0][0]                 
__________________________________________________________________________________________________
cropping1d_4 (Cropping1D)       (None, 85, 39)       0           main_input[0][0]                 
__________________________________________________________________________________________________
cropping1d_5 (Cropping1D)       (None, 85, 39)       0           main_input[0][0]                 
__________________________________________________________________________________________________
concatenate_1 (Concatenate)     (None, 85, 195)      0           cropping1d_1[0][0]               
                                                                 cropping1d_2[0][0]               
                                                                 cropping1d_3[0][0]               
                                                                 cropping1d_4[0][0]               
                                                                 cropping1d_5[0][0]               
__________________________________________________________________________________________________
fc1 (BatchNormalization)        (None, 85, 195)      780         concatenate_1[0][0]              
__________________________________________________________________________________________________
fc2 (Bidirectional)             (None, 85, 2048)     9994240     fc1[0][0]                        
__________________________________________________________________________________________________
fc3 (BatchNormalization)        (None, 85, 2048)     8192        fc2[0][0]                        
__________________________________________________________________________________________________
global_average_pooling1d_1 (Glo (None, 2048)         0           fc3[0][0]                        
__________________________________________________________________________________________________
main_output (Dense)             (None, 2)            4098        global_average_pooling1d_1[0][0] 
==================================================================================================
Total params: 10,007,310
Trainable params: 10,002,824
Non-trainable params: 4,486
__________________________________________________________________________________________________

假设我网络层数是上面这个结构.

如果我想得到pooling的输出， keras上有两张方法。

intermediate_layer_model = Model(inputs=model.input,outputs=model.get_layer(str('global_average_pooling1d_1')).output)
#model.summary()
#model.get_layer(str('cropping1d_1'))
intermediate_output = intermediate_layer_model.predict(data)

data是你的输入所用的数据.... 

from keras import backend as K
get_11rd_layer_output = K.function([model.layers[0].input],
                                  [model.layers[10].output])
layer_output = get_11rd_layer_output([data])[0]

我这里第10层是Pooling层.

这两个代码的output是一样的.. 

一般我看人用的都是第二个... 

 

cageyoko
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch学习笔记四：torch.nn下常用网络层(layer)详解
耐心的小黑的博客
04-07 5495
一、卷积层 卷积：Conv2d ''' in_channels:输入通道数 out_channels：输出通道数 kernel_size：卷积核尺寸，整数或者元组 stride：卷积操作的步幅，整数或者元组 padding：数据hw方向上填充的层数，整数或者元组，默认填充的是0 dilation：卷积核内部各点的间距，整数或者元组 groups：控制输入和输出之间的连接；group...
Keras深度学习实战（7）——卷积神经网络详解与实现
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
Keras之获取中间layer的output
落日之城
07-23 514
大致有两种方法 建一个新模型, output为那个layer 使用K.function抽象出这个输出. 先挖个坑. 详细见: Keras, How to get the output of each layer?
Keras 中间层 输出
weixin_38842820的博客
02-04 612
如何获取中间层的输出？ 一种简单的方法是创建一个新的Model，使得它的输出是你想要的那个输出 from keras.models import Model model = … # create the original model layer_name = ‘my_layer’ intermediate_layer_model = Model(input=model.input, output...
paddle的学习（1）
weixin_43475628的博客
09-03 3688
1.关于Program #layer表示一个独立的计算逻辑，通常包含一个或多个op，layers.relu表示relu运算；layers.pool2d表示pool操作。layer有输入输出（variable） #Variable表示一个变量，变量可以是一个张量Tensor，Variable进入layer计算，然后layer返回Variable #program包含Variable定义的多个变量和layer定义的多个计算。Program是顺序执行的 #Executor用来执行Program，Executor
nn.LayerNorm的实现及原理
热门推荐
芒果干的博客
02-03 7万+
LayerNorm 在transformer中一般采用LayerNorm，LayerNorm也是归一化的一种方法，与BatchNorm不同的是它是对每单个batch进行的归一化，而batchnorm是对所有batch一起进行归一化的 y=x−E(x)Var(x)+ϵ∗γ+β y = \frac{x-E(x)}{\sqrt{Var(x)+\epsilon}}*\gamma+\beta y=Var(x)+ϵ​x−E(x)​∗γ+β nn.LayerNorm(normalized_shape, eps=1e-05
Tensorflow 2.x(keras)源码详解之第十章：keras中的模型保存与加载(详解Checkpoint&md5&模型序列化)
weixin_43178406的博客
05-18 4万+
1. 模型保存与加载：综述 2. 前提总结 3. 仅保存模型权重 3.1 在内存中将权重进行迁移 3.2 将权重保存到磁盘上 3.2.1 Checkpoint(检查点) 3.2.2 使用tf.train.checkpoint()保存多个检查点 3.2.3 使用tf.train.checkpoint加载多个检查点 3.2.4 tf.train.checkpoint保存和加载单一检查点 3.2.5 save_weights保存检查点 3.2.6 save_weights保存成HDF5格式 4. 仅保存模型架构
python summary结果提取,Keras model.summary（）结果-了解参数数
weixin_30394019的博客
12-15 653
I have a simple NN model for detecting hand-written digits from a 28x28px image written in python using Keras (Theano backend):model0 = Sequential()#number of epochs to train fornb_epoch = 12#amount o...
main_tf2_小波神经网络_keras_小波神经网络框架
09-11
**小波层（Wavelet Layer）** 可以通过自定义层（`tf.keras.layers.Layer`）实现，利用小波变换函数（如Haar小波、Daubechies小波等）对输入数据进行处理。自定义层允许我们实现小波变换的前向传播和反向传播过程，...
Demo_Tensorflow_Keras_pytorch.zip
10-22
本示例中的代码将展示如何在这些框架中构建基本的CNN模型，通常包括卷积层（Convolutional Layer）、池化层（Pooling Layer）、全连接层（Dense Layer）和激活函数（如ReLU）。每个框架的实现可能略有不同，但核心...
使用`paddle.nn.Layer`自定义网络教程
最新发布
weixin_46227276的博客
03-03 617
飞桨提供了接口，允许用户轻松定义专属的深度学习模型。本教程将引导您如何使用来构建网络，并展示如何进行层的查看、修改等操作。模型：由一系列层组成，包含输入到输出的映射和实时更新的参数变量。层：模型的基础逻辑执行单元，包含算子和计算所需的变量。：飞桨所有神经网络模块的基类，代表所有可以用层表示的网络结构。本文介绍了如何使用来构造深度学习网络模型，并展示了如何进行层的查看、修改等操作。的功能远不止于此，还可以进行更多高级操作，如子层访问、层的成员变量操作、模型存储等。
PyTorch：nn模型层+nn方法
皮皮blog
10-20 1585
embedding + rnn + cnn等
NN模型设置--设计新的layer或op
wydbyxr的博客
12-04 792
  关键是反向传播的实现！   如果你手动实现了反向传播算法但是它不起作用，那么有99%的可能是梯度计算中存在Bug。那么就用梯度检测来定位问题。   主要思想是运用梯度的定义：如果我们稍微增加某个权重值，模型的误差将会改变多少。   参考资料：   http://ufldl.stanford.edu/wiki/index.php/Gradient_checking_and_advanced_op...
keras—如何获得中间层的输出？？？
我乐飞的技术博客
06-26 1万+
刚开始接触keras的时候，觉得这个框架很方便使用，就像搭积木一样，但有时候为了理解模型中间的数据流向，摸清楚模型内部的数据传输是什么样子的就有点麻烦。事实上，keras也为我们提供了方法，其中最简单的方法就是在原来的模型之外在建立一个小型的模型，截取原始模型从输入层到你你感兴趣的那一层作为新模型的输入和输出，在predict一下就出来你想要的那一层的结果啦！from keras.models i...
【Pytorch】F.layer_norm和nn.LayerNorm到底有什么区别？
憨憨的博客
03-20 9700
背景 最近在做视频方向，处理的是时序特征，就想着能不能用Batch Normalization来做视频特征BN层？在网上查阅资料发现，时序特征并不能用Batch Normalization，因为一个batch中的序列有长有短。此外，BN 的一个缺点是需要较大的 batchsize 才能合理估训练数据的均值和方差，这导致内存很可能不够用，同时它也很难应用在训练数据长度不同的 RNN 模型上。Layer Normalization (LN) 的一个优势是不需要批训练，在单条数据内部就能归一化。 对于RNN等时
如何给keras层命名，并提取中间层输出值，保存到文档
龙猫
08-08 1万+
更新： 感谢评论区提供的方案。 采用model.summary(),model.get_config()和for循环均可获得Keras的层名。示例如下图   —————————————————————————————————————————————————— 对于keras特定层的命名，只需在层内添加 name 即可 model.add(Activation('softmax',nam...
keras技巧——如何获取某一个网络层的输出
MIss-Y的博客
06-23 1万+
前言：keras默认提供了如何获取某一个层的某一个节点的输出，但是没有提供如何获取某一个层的输出的接口，所以有时候我们需要获取某一个层的输出，则需要自己编写代码，但是鉴于keras高层封装的特性，编写起来实际上很简单，本文提供两种常见的方法来实现，基于上一篇文章的模型和代码：keras自定义回调函数查看训练的loss和accuracy 一、模型加载以及各个层的信息查看 从前面的定义...
nn.LayerNorm的具体实现方法（通过公式复现）
zy_like_study的博客
11-01 8772
以下通过LayerNorm的公式复现了Layer Norm的计算结果，以此来具体了解Layer Norm的工作方式 公式：y=x−E[x]Var[x]+ϵ∗γ+β公式：y = \frac{x - \mathrm{E}[x]}{ \sqrt{\mathrm{Var}[x] + \epsilon}} * \gamma + \beta公式：y=Var[x]+ϵ​x−E[x]​∗γ+β 1.只考虑最低维：每个维各自按公式计算即可，不和其他维度掺和 # LayerNorm a = torch.tensor([[1,2
纯Keras写得transformer分类代码
05-01
下面是一个使用Keras编写的Transformer分类器的示例代码： ```python import tensorflow as tf from tensorflow.keras.layers import Input, Dense, Dropout from tensorflow.keras.layers import LayerNormalization, MultiHeadAttention from tensorflow.keras.layers import Embedding, Flatten from tensorflow.keras.models import Model from tensorflow.keras.optimizers import Adam def positional_encoding(seq_length, d_model): pos = tf.range(seq_length)[:, tf.newaxis] i = tf.range(d_model)[tf.newaxis, :] angle_rates = 1 / tf.pow(10000.0, (2 * (i // 2)) / tf.cast(d_model, tf.float32)) angle_rads = pos * angle_rates sines = tf.math.sin(angle_rads[:, 0::2]) cosines = tf.math.cos(angle_rads[:, 1::2]) pos_encoding = tf.concat([sines, cosines], axis=-1) return tf.cast(pos_encoding, tf.float32) def create_padding_mask(seq): seq = tf.cast(tf.math.equal(seq, 0), tf.float32) return seq[:, tf.newaxis, tf.newaxis, :] def create_look_ahead_mask(size): mask = 1 - tf.linalg.band_part(tf.ones((size, size)), -1, 0) return mask def scaled_dot_product_attention(q, k, v, mask): matmul_qk = tf.matmul(q, k, transpose_b=True) dk = tf.cast(tf.shape(k)[-1], tf.float32) scaled_attention_logits = matmul_qk / tf.math.sqrt(dk) if mask is not None: scaled_attention_logits += (mask * -1e9) attention_weights = tf.nn.softmax(scaled_attention_logits, axis=-1) output = tf.matmul(attention_weights, v) return output class EncoderLayer(tf.keras.layers.Layer): def __init__(self, d_model, num_heads, dff, rate=0.1): super(EncoderLayer, self).__init__() self.mha = MultiHeadAttention(d_model, num_heads) self.ffn = tf.keras.Sequential([ Dense(dff, activation='relu'), Dense(d_model) ]) self.layernorm1 = LayerNormalization(epsilon=1e-6) self.layernorm2 = LayerNormalization(epsilon=1e-6) self.dropout1 = Dropout(rate) self.dropout2 = Dropout(rate) def call(self, x, training, mask): attn_output = self.mha(x, x, x, mask) attn_output = self.dropout1(attn_output, training=training) out1 = self.layernorm1(x + attn_output) ffn_output = self.ffn(out1) ffn_output = self.dropout2(ffn_output, training=training) out2 = self.layernorm2(out1 + ffn_output) return out2 class TransformerEncoder(tf.keras.layers.Layer): def __init__(self, num_layers, d_model, num_heads, dff, input_vocab_size, maximum_position_encoding, rate=0.1): super(TransformerEncoder, self).__init__() self.d_model = d_model self.num_layers = num_layers self.embedding = Embedding(input_vocab_size, d_model) self.pos_encoding = positional_encoding(maximum_position_encoding, d_model) self.dropout = Dropout(rate) self.enc_layers = [EncoderLayer(d_model, num_heads, dff, rate) for _ in range(num_layers)] def call(self, x, training, mask): seq_len = tf.shape(x)[1] x = self.embedding(x) x *= tf.math.sqrt(tf.cast(self.d_model, tf.float32)) x += self.pos_encoding[:, :seq_len, :] x = self.dropout(x, training=training) for i in range(self.num_layers): x = self.enc_layers[i](x, training, mask) return x def transformer_classifier(num_layers, d_model, num_heads, dff, input_vocab_size, maximum_position_encoding, num_classes, rate=0.1): inputs = Input(shape=(None,)) padding_mask = Lambda(create_padding_mask)(inputs) transformer_encoder = TransformerEncoder(num_layers, d_model, num_heads, dff, input_vocab_size, maximum_position_encoding, rate) x = transformer_encoder(inputs, True, padding_mask) x = Flatten()(x) x = Dense(num_classes, activation='softmax')(x) return Model(inputs=inputs, outputs=x) model = transformer_classifier(num_layers=4, d_model=128, num_heads=8, dff=512, input_vocab_size=10000, maximum_position_encoding=1000, num_classes=10) optimizer = Adam(lr=0.001, beta_1=0.9, beta_2=0.98, epsilon=1e-9) model.compile(optimizer=optimizer, loss='categorical_crossentropy', metrics=['accuracy']) ``` 这段代码实现了一个Transformer编码器，用于从变长的文本序列中提取特征，然后将这些特征输入到一个全连接层中进行分类。在这个示例中，我们定义了一个包含4个编码器层的Transformer，每个编码器层包含8个注意力头和一个前馈网络。我们还使用了位置编码、嵌入层和遮挡层来处理变长的文本序列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值