cmu 统计机器学习_机器学习从入门到进阶丨统计学习的关键概念

在本系列的第一篇文章中，谈及了数据科学的关键概念和过程。在这篇文章中，会更深入一点。首先，将定义什么是统计学习(Statistical Learning )。然后，将深入到统计学习的关键概念，了解统计学习。

什么是统计学习

根据维基百科，统计学习理论是从统计学和功能分析领域进行机器学习的框架。

机器学习是通过软件应用程序实现统计学习技术的一种体现。

这在实践中意味着什么？统计学习是指让我们能够更好地理解数据的工具和技术。那么理解数据意味着什么？

在统计学习的背景下，有两种类型的数据：

• 可以直接控制功能的独立变量数据

• 不能直接控制功能的因变量数据

像因变量这样无法控制的数据，则需要预测或估计。

更好的理解数据是通过独立变量来更多地了解因变量。例如下面的例子：

假设想根据分配给电视、广播和纸质广告的不同预算来衡量销售额。分配给不同渠道的广告预算是可以控制的，但是无法控制的是它们将如何影响销售。于是想用把无法控制的数据(销售额)表达为可以控制的数据(广告预算)的功能，揭开这种隐藏的关系。

统计学习则能够揭示隐藏的数据关系，不论是依赖的还是独立的数据之间的关系。

参数和模型

运营管理中著名的商业模式之一是ITO模型，即输入-转化-输出(Input-Transformation-Output)模型。这很好理解，有一些输入，这些输入经历一些转化，然后生成了输出。

统计学习也适用于类似的逻辑，有数据输入，数据输入后经历转化，然后生成需要预测或估计的输出。

而上述的转化引擎部分被称之为模型，一些用来预估输出的函数。

转化过程是和数学相关的，用数学成分计算输入数据来预估输出，这些数学成分称为参数。

如下例：

是什么决定了某人的收入？例如收入是由受教育程度和工作经验决定的。那么估计收入的模型可能是这样的：

收入 = c + β0 受教育程度 + β1 经验

其中，β0和β1是表示收入函数中教育和经验的参数。而教育和经验是可控的变量，这些可控变量具有不同的含义，它们被称为独立变量，也称之为特征。收入是不可控变量，它们被称为目标。

训练与测试(Training and Testing)

当你准备一场考试的时候，都做些什么呢？研究、学习、消化知识点、做笔记、不断练习等。这些都是学习和准备未知测试的过程或者工具。

机器学习也使用类似的概念进行学习。数据一般是有限的，因此在使用数据时需要谨慎。模型的构建也需要进行验证，而验证的方法可以参考如下方式：

1. 将数据集分割为两部分；

2. 使用其中一部分作为训练数据，让模型从中进行学习，也就是说这部分数据对模型来说是可见的、已知的。这部分数据集被称为训练数据；

3. 使用另一部分来测试模型，给予模型一部分未知的测试数据，来核查模型的性能。这部分数据称为测试数据。

在竞争性考试中，如果准备充分、历史学习有效，那么考试中的表现一般也是令人满意的。同样的，在机器学习中，如果模型很好地学习了训练数据，那么在测试数据上也应该有良好的表现。

一般情况下，在机器学习中，一旦模型在测试数据集上进行测试，就会评估模型的性能，根据它预估的输出与实际值的接近程度来进行评估。

方差与偏差(Variance and Bias)

英国着名统计学家George Box曾经说：

“All models are wrong, but some are useful.”

“所有模型都是错误的，但其中一些是有用的。”

没有哪个模型能够达到100%的准确度，所有的模型都有些错误，这些错误可以从两方面进行衡量：

• 偏差(Bias)

• 方差(Variance)

下面使用类比来解释这两个维度：

Raj，是一个七岁的孩子，刚刚接触了乘法的概念。他已经掌握了1和2的乘法，接下来将挑战3的，他非常兴奋，开始了3的乘法练习，他写下了如下的等式：

3 x 1 = 4

3 x 2 = 7

3 x 3 = 10

3 x 4 = 13

3 x 5 = 16

Raj的同学Bob也在练习3的乘法。他的计算结果看起来是这样的：

3 x 1 = 5

3 x 2 = 9

3 x 3 = 18

3 x 4 = 24

3 x 5 = 30

让我们从机器学习的角度来研究由Bob和Raj创建的乘法模型。

• Raj的模型有一个无效的假设，他假设了乘法运算意味着需要在结果后面加1。这个假设引入了偏差误差。假设是一致的，即将1加到输出。这意味着Raj的模型低偏差；

• Raj的模型导致输出始终与实际相距1。这意味着他的模型具有低方差；

• Bob的模型输出结果毫无规律，他的模型输出与实际值偏差很大。没有一致的偏差模式。Bob的模型具有高偏差和高方差。

上面的例子是对方差和偏差这一重要概念的粗略解释。

• 偏差，是模型不考虑数据中的所有信息，而持续学习错误信息的倾向。

• 方差，是模型不考虑实际的数据情况，而持续学习随机信息的倾向。

偏差 - 方差权衡(Bias-Variance Trade-Off)

有的人学习数学的方式是靠死记硬背，这些人能够学习和记住数学问题，并且很好背诵出来。

但问题是，他们背下的问题和考试时遇到的问题是不一样的，考试题是数学概念的泛化应用。显然，靠死记硬背很难考好。

机器学习也是同样的模式。如果模型对某一特定的数据集学习过多，并试图将该模型应用在其他未知数据上，则可能具有很高的误差。从给定的数据集中学习过多被称为过拟合。此种情况下，模型难以有效地推广应用于未知的数据。相反的，从给定的数据集中学习太少称为欠拟合。此种情况下，模型表现太差，甚至无法从给定的数据中学习。

阿尔伯特·爱因斯坦简洁地概括了这个概念。他说：

“Everything should be made as simple as possible, but not simpler.” *

“凡事应尽可能简单，但不应过于简单。”

机器学习解决问题的方式是不断努力寻找到一个恰当的平衡点，构建一个不过于复杂也不过于简单、能够泛化的、相对不准确但是有用的模型。

• 过拟合的模型会过于复杂，它在训练数据上表现非常好，但是在测试数据上表现欠佳；

• 欠拟合的模型又过于简单，它在训练数据和测试数据上的表现都欠佳；

• 一个良好的模型是在过拟合和欠拟合之间找到平衡，它表现良好，简单但不过于简单。

这种平衡行为被称为偏差 - 方差权衡。

结语

统计学习是复杂机器学习应用的基石。本文介绍了统计学习的一些基础和核心概念，请记住以下五大要点：

1. 统计学习揭示依赖数据和独立数据之间的隐藏关系；

2. 模型是转换引擎，参数是实现转换的要素；

3. 模型使用训练数据进行学习，使用测试数据进行评估；

4. 所有模型都是错误的，但有些是有用的；

5. 偏差-方差权衡是一种平衡行为，以找到最优化模型、最佳点。

翻译：TalkingData

作者：Pradeep Menon

来源：Mudium

原文链接：https://towardsdatascience.com/data-science-simplified-key-concepts-of-statistical-learning-45648049709e

推荐阅读：

机器学习从入门到进阶①丨原则与过程

数据驱动背后的“陷阱”

如何用机器学习模型，为十几亿数据预测性别

TalkingData——用数据说话

每天一篇好文章，欢迎分享关注