吴恩达深度学习笔记(26)-神经网络中的参数和超参数

参数VS超参数（Parameters vs Hyperparameters）
想要你的深度神经网络起很好的效果，你还需要规划好你的参数以及超参数。

什么是超参数？
比如算法中的learning rate a（学习率）、iterations(梯度下降法循环的数量)、L（隐藏层数目）、n^([l])（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要你来设置，这些数字实际上控制了最后的参数W和b的值，所以它们被称作超参数。
实际上深度学习有很多不同的超参数，之后我们也会介绍一些其他的超参数，如momentum、mini batch size、regularization parameters等等。

如何寻找超参数的最优值？

走Idea—Code—Experiment—Idea这个循环，尝试各种不同的参数，实现模型并观察是否成功，然后再迭代。

今天的深度学习应用领域，还是很经验性的过程，通常你有个想法，比如你可能大致知道一个最好的学习率值，可能说a=0.01最好，我会想先试试看，然后你可以实际试一下，