《白话机器学习的数学》第4章——评估

4.1模型评估

        1.由于像多重回归这样的问题会导致无法在图上展示，所以需要能够够定量地表示机器学习模型的精度。

4.2交叉验证

4.2.1回归问题的验证

        1.把获取的全部训练数据分成两份：一份用于测试，一份用于训练。然后用前者来评估模型。

        一般来说，比起 5 : 5，大多数情况会采用 3 : 7 或者 2 : 8 这种训练数据更多的比例。不过倒也没有特别规定必须要这样。

        2.模型评估就是检查训练好的模型对测试数据的拟合情况。

        3.对于回归的情况，只要在训练好的模型上计算测试数据的误差的平方，再取其平均值就可以了。假设测试数据有 n 个，那么可以这样计算。

                                      

        这个值被称为均方误差或者 MSE，全称 Mean Square Error 。这个误差越小，精度就越高，模型也就越好。

4.2.2分类问题的验证

        1.假设分类结果为正的情况是 Positive、为负的情况是 Negative。分类成功为 True、分类失败为 False。

        下列表达式表示的是在整个数据集中，被正确分类的数据 TP 和 TN 所占 的比例。

                   

        用测试数据来计算这个值，值越高精度越高，也就意味着模型越好。

4.2.3精确率和召回率

        1.假设图中的圆点是 Positive 数据、叉号是 Negative 数据，我们来考虑一下数据量极其不平衡的情况。 

                           

        假设有 100 个数据，其中 95 个是 Negative。那么，哪怕出现模型把数据全部分类为 Negative 的极端情况，Accuracy 值也为 0.95， 也就是说模型的精度是 95%。

        既然 Positive 相对少很多，那么即使模型把数据全 部分类为 Negative，它的精度也会很高。

        2.所以需要引入新的指标，第一个指标——精确率。

                               

                             

        它的含义是在被分类为 Positive 的数据中，实际就是 Positive 的数据所占的比例。

        这个值越高，说明分类错误越少。拿这个例子来说，虽然被分类为 Positive 的数据有 3 个，但其中只有 1 个是分类正确的。所以计算得出的精确率很低。

        3. 还有一个指标——召回率。

                                     

                           

         它的含义是在 Positive 数据中，实际被分类为 Positive 的数据所占的比例。

        这个值越高，说明被正确分类的数据越多。拿这个例子来说，虽然 Positive 数据共有 5 个，但只有 1 个被分类为 Positive。所以计算得出的召回率也很低。

        4. 一般来说，精确率和召回率会一个高一个低，需要我们取舍。

 4.2.4F值

         1.精确率和召回率只要有一个低，就会拉低 F 值。

                       

        Precision 是前面说的精确率，Recall 是召回率。

        有时称 F 值为 F1 值会更准确。

        F1 值在数学上是精确率和召回率的调和平均值。

        2. 除 F1 值之外，还有一个带权重的 F 值指标。

         

        β 指的是权重。可以认为 F 值指的是带权重的 F 值，当权重为 1 时才是刚才介绍的 F1 值

        3.当数据不平衡时，使用数量少的那个为主来计算精确率和召回率会更好。例如刚刚是TP比较少，所以以TP为主来计算。

        4.把全部训练数据分为测试数据和训练数据的做法称为交叉验证。

        5.交叉验证的方法中，尤为有名的是 K 折交叉验证，掌握这种方法很有好处。

        把全部训练数据分为 K 份

        将K − 1 份数据用作训练数据，剩下的 1 份用作测试数据 

        每次更换训练数据和测试数据，重复进行 K 次交叉验证

        最后计算 K 个精度的平均值，把它作为最终的精度

        假设要进行 4 折交叉验证。

             

        6. 不切实际地增加 K 值会非常耗费时间，所以我们必须要确定一个合适的 K 值。

4.3正则化

4.3.1过拟合 

         1.模型只能拟合训练数据的状态被称为过拟合。在回归时，过度增加函数 fθ(x)的次数会导 致过拟合。

        2.有几种方法可以避免过拟合。

        增加全部训练数据的数量

        使用简单的模型

        正则化

 4.3.2正则化的方法

        1.我们要向目标函数增加下面这样的正则化项。

                                                       

              

        我们要对这个新的目标函数进行最小化，这种方法就称为正则化。

        m 是参数的个数。

         2.θ0 这种只有参数的项称为偏置项，一般不对它进行正则化。

        3.λ 是决定正则化项影响程度的正的常数。

4.3.3正则化的效果

        1.首先把目标函数分成两个部分。

                     

        C(θ) 是本来就有的目标函数项，R(θ) 是正则化项。

        2.假设C(θ)和R(θ)的图像如下：

                  

                 

        与加正则化项之前相比，θ1 更接近 0 了。这就是正则化的效果。它可以防止参数变得过大，有助于参数接近较小的值。虽然我们只考虑了 θ1，但其他 θj 参数的情况也是类似的。

        参数的值变小，意味着该参数的影响也会相应地变小。

        正是通过减小不需要的参数的影响，将复杂模型替换为简单模型来防止过拟合的方式。

         3.λ是可以控制正则化惩罚的强度。 

                                   

        反过来 λ 越大，正则化的惩罚也就越严厉。

        ​​​​​​                          ​

4.3.4分类的正则化

        1.分类也可以应用正则化。

        对数似然函数本来以最大化为目标。但是，这次我想让它变成和回归的目标函数一样的最小化问题，所以在原来的目标函数上加了负号。

        反转了符号之后，在更新参数时就要像回归一样，与微分的函数的符号反方向移动才行。

 4.3.5包含正则化项的表达式的微分

        1.新的目标函数的形式：

                                           

                                  

                         

                                                      

        最终的微分结果：

                

        参数更新表达式：

           

         2.之 前说过一般不对 θ0 应用正则化。R(θ) 对 θ0 微分的结果为 0，所以 j = 0 时表达式 4.3.14 中的 λθj 就消失了。因此，实际上需要像这样区分两种情况。

      

        3.对于逻辑回归的流程也是一样的：

                                                     

                                        

         参数更新表达式：

             

        这种方法被称为L2正则化。

         4.除 L2 正则化方法之外，还有 L1 正则化方法。它的正则化项 R 是这样的。

                                              

        5.L1 正则化的特征是被判定为不需要的参数会变为 0，从而减少变量个数。而 L2 正则化不会把参数变为 0。

        6.L2 正则化会抑制参数，使变量的影响不会过大，而 L1 会直接去除不要的变量。

4.4学习曲线

4.4.1欠拟合

        1.欠拟合是与过拟合相反的状态，所以它是没有拟合训练数据的状态。

        比如用直线对图中这种拥有复杂边界线的数据进行分类的情况，无论怎样做都不能很好地分类，最终的精度会很差。

                              

4.4.2区分过拟合和欠拟合

        1.如果模型过于简单，那么随着数据量的增加，误差也会一点点变大。换句话说就是精度会一点点下降。

        2.训练数据较少时训练好的模型难以预测未知的数据，所以精度很低；反过来说，训练数据变多时，预测精度就会一点点地变高。

                           

        3.将两份数据的精度用图来展示后，如果是这种形状，就说明出现了欠拟合的状态。也有一种说法叫作高偏差。

                   

        这是一种即使增加数据的数量，无论是使用训练数据还是测试数据，精度也都会很差的状态

        4.而在过拟合的情况下，图是这样的。这也叫作高方差。

                       

        随着数据量的增加，使用训练数据时的精度一直很高，而使用测试数据时的精度一直没有上升到它的水准。

        5.展示了数据数量和精度的图称为学习曲线。

        通过学习曲线判断出是过拟合还是欠拟合之后，就可以采取相应的对策以便改进模型了。