Keras中权重weight的初始化

Keras 的原始构造模块是模型,最简单的模型称为序贯模型, Keras 的序贯模型是神经网络层的线性管道 ( 堆栈) 。

以下代码段定义了 一个包含 12 个人工神经元的单层 网络,它预计有 8 个输入变量 ( 也称为特征):

from keras.models import Sequential

model =Sequential()
model.add(12,input_dim=8,kernel_initializer='random_uniform')

每个神经元可以用特定的权重进行初始化 。 Keras 提供了 几个选择 , 其中最常用的选择如下所示。

  • random_unifrom:权重被初始化为(-0.5,0.5)之间的均匀随机的微小数值,换句话说,给定区间里的任何值都可能作为权重 。
  • random_normal:根据高斯分布初始化权重,其中均值为0,标准差为0.05。
  • zero:所有权重被初始化为0。

 

  • 1
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Keras 是一个层次的深度学习库,它有许多预定义的层,如卷积层、池化层、全连接层等。但是有时我们需要自定义一些层,以满足特定的需求。在 Keras ,可以通过继承 keras.layers.Layer 类来自定义层。 具体地,我们需要重写 __init__ 和 call 两个方法,其 __init__ 方法用于初始化层的参数,call 方法定义了层的前向传播逻辑。 以下是一个简单的例子,演示如何自定义一个全连接层: ``` import tensorflow as tf from tensorflow import keras class MyDenseLayer(keras.layers.Layer): def __init__(self, output_dim, **kwargs): self.output_dim = output_dim super(MyDenseLayer, self).__init__(**kwargs) def build(self, input_shape): self.kernel = self.add_weight(name='kernel', shape=(input_shape[1], self.output_dim), initializer='uniform', trainable=True) super(MyDenseLayer, self).build(input_shape) def call(self, inputs): return tf.matmul(inputs, self.kernel) ``` 在这个例子,我们定义了一个 MyDenseLayer 类,它继承自 keras.layers.Layer。我们在 __init__ 方法定义了层的输出维度 output_dim,并且调用了父类的构造函数。在 build 方法,我们使用 add_weight 方法定义了一个名为 kernel 的权重,它的形状为 (input_shape[1], output_dim),并使用 uniform 初始化。在 call 方法,我们将输入 inputs 与权重 kernel 相乘,得到输出。 这样我们就定义了一个全连接层。在使用时,我们可以像使用其他预定义层一样使用它: ``` model = keras.Sequential([ MyDenseLayer(64, input_shape=(784,)), keras.layers.Activation('relu'), MyDenseLayer(10), keras.layers.Activation('softmax') ]) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值