一、基本用法
np.random.randn
是NumPy中用于生成服从标准正态分布(均值为0,标准差为1)的随机数的函数。它生成的随机数遵循标准正态分布,也称为高斯分布。
以下是使用np.random.randn
生成随机数的示例:
import numpy as np
# 生成一个随机数,服从标准正态分布
random_number = np.random.randn()
print(random_number)
# 生成一个包含多个随机数的 NumPy 数组
random_array = np.random.randn(3, 4) # 生成一个 3x4 的数组,包含随机数
print(random_array)
运行结果:
np.random.normal
。
请注意,生成的随机数是伪随机数,它们是通过确定性算法生成的,但通常在实际应用中足够随机。要使随机数生成具有确定性,可以设置随机种子,使用函数,此用于np.random.seed
实验的可重复性非常重要。
二、举例神经网络初始化过程中用到一些代码
class TwoLayerNet:
def __init__(self, input_size, hidden_size, output_size, weight_init_std=0.01):
# 初始化权重
self.params = {}
self.params['W1'] = weight_init_std * np.random.randn(input_size, hidden_size)
self.params['b1'] = np.zeros(hidden_size)
self.params['W2'] = weight_init_std * np.random.randn(hidden_size, output_size)
self.params['b2'] = np.zeros(output_size)
(1)、代码的作用解释
1、self.params = {}
:初始化一个名为 的空字典params
。该字典将用于存储神经网络的参数,包括权重和偏差。
2、self.params['W1']
:将第一层(隐藏层的输入)的权重矩阵初始化为'W1'
。该权重矩阵的大小由input_size
(输入特征的数量)和hidden_size
(隐藏层中的神经元或单元的数量)决定。权重使用从均值 0 和标准差 的高斯(正态)分布中抽取的随机值进行初始化weight_init_std
。
3、self.params['b1']
:将第一层(隐藏层的输入)的偏置向量初始化为'b1'
。该偏置向量的大小由 确定hidden_size
,并且用全零进行初始化。
4、self.params['W2']
:将第二层(隐藏到输出)的权重矩阵初始化为'W2'
。hidden_size
该权重矩阵的大小由(隐藏层中的神经元数量)和output_size
(输出层中的神经元或单元数量)决定。与“W1”类似,权重是使用从均值为 0 和标准差 的高斯分布中抽取的随机值来初始化的weight_init_std
。
5、self.params['b2']
:将第二层(隐藏到输出)的偏置向量初始化为'b2'
。该偏置向量的大小由 确定output_size
,并且用全零进行初始化。
(2)、weight_init_std的解释
weight_init_std
参数控制初始权重的范围。根据具体的神经网络实现,您可能会在训练期间看到对这些参数执行的进一步操作,例如用于学习的前向和后向传播。
weight_init_std
,该值设置为 0.01。该值表示使用从高斯(正态)分布中抽取的随机值初始化神经网络层的权重时使用的标准偏差。
当weight_init_std
设置为0.01时,表示神经网络的初始权重取自均值为0、标准差为0.01的高斯分布。该值是神经网络中权重初始化的常见选择,并且在处理小规模数据集或深度网络时经常使用。较小的值会weight_init_std
导致较小的初始权重,这有助于稳定训练过程并防止梯度在反向传播期间变得太大。
总体而言选择weight_init_std
可能会影响神经网络从数据中学习的效率以及训练期间收敛的速度。不同的值可能更适合不同的任务和架构,因此它通常是一个可以在神经网络模型开发过程中调整的超参数。