深度学习（李宏毅）p3-p4笔记，Datawhale组队学习Task02

心得分享：
1、可以通过引入正则项（权重(w, weights)也加入到loss的计算中），来降低模型复杂度。其中偏置(b, bias)其实不用放入正则中，因为我们只想要更平滑的，b不会影响是否平滑；
2、通过梯度下降(GD, Gradient Descent)来调整参数，降低损失(loss)；
3、多个参数就求对应的偏导；
4、目标值真实y hat, 平均值y bar；
5、If类的也可以通过线性模型来表示，比如通过δ(Δ, 丢他, 阶跃, 德尔塔, delta)实现类似的效果，是就是6，不是就是0；
7、Adam算法可以自动调整学习率，开始的时候大，结束的时候小；
8、高阶的模型包含低阶的模型，所以只用训练集时训练出的高阶模型损失总能小于等于低阶模型。但容易过拟合，这个时候就引入正则项；