参数是我们训练神经网络 最终要学习的目标,最基本的就是神经网络的权重 W和bias b,我们训练的目的,就是要找到一套好的模型参数,用于预测未知的结果。这些参数我们是不用调的,是模型来训练的过程中自动更新生成的。
超参数是我们控制我们模型结构、功能、效率等的 调节旋钮,具体有哪些呢:
- learning rate
- epochs(迭代次数,也可称为 num of iterations)
- num of hiddenlayers(隐层数目)
- num of hidden layer units(隐层的单元数/神经元数)
- activation function(激活函数)
- batch-size(用mini-batch SGD的时候每个批量的大小)
- optimizer(选择什么优化器,如SGD、RMSProp、Adam)
- 用诸如RMSProp、Adam优化器的时候涉及到的β1,β2等等
CNN:
sequence_length:句子固定长度(不足补全,超过截断)
num_classes:类别数
vocab_size:词库大小
embedding_size:词向量维度
filter_sizes:卷积核尺寸
num_filters:每个尺寸的卷积核数量
l2_reg_lambda=0.0:L2正则参数
…
batch
深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。
Batch gradient descent,批梯度下降。
第一种,遍历全部数据集算一次损失函数&#