深度学习 --- 机器学习(损失函数构建，方差偏差)

机器学习（ML）主要分为三类：

1. supervised learning（监督学习），
2. unsupervised learning（非监督学习），
3. reinforcement learning（强化学习）。
   
   梯度下降：通过斜率正负判断增大还是减小w的值来找出loss函数最小值
   
   不断迭代更新两项参数的值
   
   通过下式计算w和b两个参数的偏微分
   
   过拟合：
   
   通过δ（激活函数）重构模型
   
   正则化：引入正则参数λ，对函数参数进行约束，例：L=Ein+λ∑jw2j
   
   方差（variance）：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动造成的影响。
   
   偏差（bias）：度量学习算法的期望预测与真实结果的偏离程度，也叫拟合能力。
   

偏差的误差导致过拟合；方差的误差导致欠拟合

高偏差：重构模型是其更复杂或特征更多

高方差（variance）：