在学习机器学习的时候常常看到“超参数,hyper parameter”,它到底是什么呢?
在机器学习的过程中,
超参= 在开始机器学习之前,就人为设置好的参数。例如卷积神经网络中的卷积核的大小,深度神经网络中隐层的数量。
模型参数=通过训练得到的参数数据。例如卷积核的权重和阈值。
通常情况下,需要对超参数进行优化,给学习机选择一组最优超参数,以提高学习的性能和效果。
超参数也是一种参数,它具有参数的特性,比如未知,也就是它不是一个已知常量。是一种手工可配置的设置,需要为它根据已有或现有的经验,指定“正确”的值,也就是人为为它设定一个值,它不是通过系统学习得到的。例如学习率、正则化器、正则化系数、隐藏层的维数、初始权重值,甚至选择什么样的优化器优化权重和偏置。
tensorflow中的卷积操作:
conv1 = tf.nn.conv2d(input_tensor,conv1_weight,strids=[1,1,1,1],padding='SAME')
这是一个常见的卷积操作,其中strides=[1,1,1,1]表示滑动步长为1,padding=‘SAME’表示填0操作,strides在官方定义中是一个一维具有四个元素的张量,其规定前后必须为1,我们可以改的是中间两个数,中间两个数分别代表了水平滑动和垂直滑动步长值