深度学习-参数和超参数介绍

参数是我们训练神经网络 最终要学习的目标，最基本的就是神经网络的权重 W和bias b，我们训练的目的，就是要找到一套好的模型参数，用于预测未知的结果。这些参数我们是不用调的，是模型来训练的过程中自动更新生成的。

超参数是我们控制我们模型结构、功能、效率等的 调节旋钮，具体有哪些呢：

• learning rate
• epochs(迭代次数，也可称为 num of iterations)
• num of hiddenlayers(隐层数目)
• num of hidden layer units(隐层的单元数/神经元数)
• activation function(激活函数)
• batch-size(用mini-batch SGD的时候每个批量的大小)
• optimizer(选择什么优化器，如SGD、RMSProp、Adam)
• 用诸如RMSProp、Adam优化器的时候涉及到的β1，β2等等
  CNN：
  sequence_length：句子固定长度（不足补全，超过截断）
  num_classes：类别数
  vocab_size：词库大小
  embedding_size：词向量维度
  filter_sizes：卷积核尺寸
  num_filters：每个尺寸的卷积核数量
  l2_reg_lambda=0.0：L2正则参数
  …

batch
深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。

Batch gradient descent，批梯度下降。
第一种，遍历全部数据集算一次损失函数&#