深度学习中为什么仅对权重参数进行惩罚？

---

前言

今天看花书中关于参数范数惩罚的内容，了解到为什么仅对权重做正则化惩罚，觉得很有意义，所以这里记录下。

---

为什么仅对权重参数做正则惩罚？

神经网络中的参数包括两类，即权重参数和偏置参数。权重参数代表了两个变量间的关系，因此要通过多番考量才能给出准确的权重值。偏置参数仅与一个变量有关，因此不进行正则惩罚也不会造成大的方差，而且花书中提到，对偏置参数进行正则惩罚，容易造成欠拟合（这点不太理解，是因为仅与一个变量有关，所以调整后没法很好的拟合吗？）

---

总结

以前从来没有关注这些细节信息，今天看到花书中提到，才想到自己好像没有细细思量过为什么这么做，以后要在这方面提升自己了。上面内容仅是个人理解，如果有误，请大家自行阅读花书中相关内容，谢谢大家！

---

参考

1. 《Deep Learning - 深度学习》