1、参数:就是模型可以根据数据可以自动学习出的变量,应该就是参数。比如,深度学习的权重,偏差等。
2、超参数:就是用来确定模型的一些参数,超参数不同,模型是不同的(比如说:假设都是CNN模型,如果层数不同,模型不一样,虽然都是CNN模型。),超参数一般就是根据经验确定的变量。**在深度学习中,超参数有:学习速率,迭代次数,层数,每层神经元的个数等等。**需要提前手动设置,不会因反向传播更新。
3、参数传播一种常见的方法:
梯度下降算法,步骤为:
1、初始化随机权重和偏差。
2、把输入传入网络,得到输出值。
3、计算预测值和真实值之间的误差。
4、对每一个产生误差的神经元,改变相应的(权重)值以减小误差。
5、迭代跟新,直到找到最佳权重。