超参数

一、什么是超参数？

普通参数都可以通过不断的学习（模型训练）而得到。

但是一般情况下，超参数是学习不来的。

它是提前定义好一系列值（一般在log范围均匀分布，如0.001 0.01 0.1 1 10 100 1000等），然后通过迭代学习，得到最好的超参数，这个过程我们称为调参，其实就是优化求解的过程。

二、正则化项

λ权衡 模型复杂度和正则项。

正则化越弱，说明模型更加关注样本点。但是这么做也容易造成过拟合。

正则化强，容忍更多的错误。它更多的关心是防止过拟合（关心模型的复杂度，不关心每个样本的错误）