如何用机器学习处理二元分类任务？

图像是猫还是狗？情感是正还是负？贷还是不贷？这些问题，该如何使用合适的机器学习模型来解决呢？

问题

暑假后，又有一批研究生要开题了。这几天陆续收到他们发来的研究计划大纲。

其中好几个，打算使用机器学习做分类。

但是，从他们的文字描述来看，不少人对机器学习进行分类的方法，还是一知半解。

考虑到之前分享机器学习处理分类问题的文章，往往针对具体的任务案例。似乎对分类问题的整体步骤与注意事项，还没有详细论述过。于是我决定写这篇文章，帮他们梳理一下。

他们和你一样，也是我专栏的读者。

如果你对机器学习感兴趣，并且实际遇到了分类任务，那我解答他们遇到的一些疑问，可能对于你同样有用。

所以，我把这篇文章也分享给你。希望能有一些帮助。

监督

监督式机器学习任务很常见。主要模型，是分类与回归。

就分类问题而言，二元分类是典型应用。

例如决策辅助，你利用结构化数据，判定可否贷款给某个客户；

例如情感分析，你需要通过一段文字，来区分情感的正负极性；

例如图像识别，你得识别出图片是猫，还是狗。

今天咱们就先介绍一下，二元分类，这个最为简单和常见的机器学习应用场景。

注意要做分类，你首先得有合适的数据。

什么是合适的数据呢？

这得回到我们对机器学习的大类划分。

分类任务，属于监督式学习。

监督式学习的特点，是要有标记。

例如给你1000张猫的图片，1000张狗的图片，扔在一起，没有打标记。这样你是做不了分类的。

虽然你可以让机器学习不同图片的特征，让它把图片区分开。

但是这叫做聚类，属于非监督学习。

天知道，机器是根据什么特征把图片分开的。

你想得到的结果，是猫放在一类，狗放在另一类。

但是机器抓取特征的时候，也许更喜欢按照颜色区分。

结果白猫白狗放在了一个类别，黄猫黄狗放在了另一个类别。跟你想要的结果大相径庭。

如果你对非监督学习感兴趣，可以参考《如何用Python从海量文本抽取主题？》一文。

所以，要做分类，就必须有标记才行。

但是标记不是天上掉下来的。

大部分情况下，都是人打上去的。

标记

打标记（Labeling），是个专业化而繁复的劳动。

你可以自己打，可以找人帮忙，也可以利用众包的力量。

例如亚马逊的“土耳其机器人”（Amazon Mechanical Turk）项目。

别被名字唬住，这不是什么人工智能项目，而是普通人可以利用业余时间赚外快的机会。

你可以帮别人做任务拿佣金。任务中很重要的一部分，就是人工分类，打标记。

因此如果你有原始数据，但是没有标记，就可以把数据扔上去。

说明需求，花钱找人帮你标记。

类似的服务，国内也有很多。

建议找知名度比较高的平台来做，这样标记的质量会比较靠谱。

如果你还是在校学生，可能会觉得这样的服务价格太贵，个人难以负担。

没关系。假如你的研究是有基金资助项目的一部分，可以正大光明地找导师申请数据采集费用。

但若你的研究属于个人行为，就得另想办法了。

不少学生选择的办法，是依靠团队支持。

例如找低年级的研究生帮忙标记。

人家帮了忙，让你发表了论文，顺利毕业。你总得请大家吃一顿好吃的，是吧？

学习

有了标记以后，你就能够实施监督学习，做分类了。

这里我们顺带说一下，什么叫做“机器学习”。

这个名字很时髦。

其实它做的事情，叫做“基于统计的信息表征”。

先说信息表征（representation）。

你的输入，可能是结构化的数据，例如某个人的各项生理指标；可能是非结构化数据，例如文本、声音甚至是图像，但是最终机器学习模型看到的东西，都是一系列的数字。

这些数字，以某种形式排布。

可能是零维的，叫做标量（scalar）；

可能是一维的，叫做向量（vector）；

可能是二维的，叫做矩阵（Matrice）；

可能是高维的，叫做张量（Tensor）。

但是，不论输入的数据，究竟有多少维度，如果你的目标是做二元分类，那么经过一个或简单、或复杂的模型，最后的输出，一定是个标量数字。

你的模型，会设置一个阈值。例如0.5。

超出这个数字的，被分类到一处。

反之，被分类到另一处。

任务完成。

那么模型究竟在做什么呢？

它的任务，就是把输入的数据，表征成最终的这个标量。

打个不恰当的比方，就如同高考。

每一个考生，其实都是独特的。

每个人都有自己的家庭，自己的梦想，自己的经历，自己的故事。

但是高考这个模型，不可能完整准确表征上述全部细节。

它简单地以考生们的试卷答题纸作为输入，以一个最终的总成绩作为输出。

然后，划定一个叫做录取分数线的东西，作为阈值（判定标准）。

达到或超出了，录取。

否则，不录取。

这个分数，就是高考模型对每个考生的信息表征。

所谓分类模型的优劣，其实就是看模型是否真的达到了预期的分类效果。

什么是好的分类效果？

大学想招收的人，录取了（True Positive, TP）；

大学不想招收的人，没被录取（True Negative, TN）。

什么是不好的分类效果？

大学想招收的人，没能被录取（False Negative, FN）；

大学不想招收的人，被录取了（False Positive, FP）。

好的模型，需要尽力增大 TP 和 TN 的比例，降低 FN 和 FP 的比例。

评判的标准，视你的类别数据平衡而定。

数据平衡，例如1000张猫照片，1000张狗照片，可以使用 ROC AUC。

数据不平衡，例如有1000张猫的照片，却只有100张狗的照片，可以使用 Precision 和 Recall ，或者二者相结合的 F1 score。

因为有这样明确的评估标准，所以二元分类模型不能满足于“分了类”，而需要向着“更好的分类结果”前进。

办法就是利用统计结果，不断改进模型的表征方法。

所以，模型的参数需要不断迭代。

恢复高考后的40年，高考的形式、科目、分值、大纲……包括加分政策等，一直都在变化。这也可以看作是一种模型的迭代。

“表征”+“统计”+“迭代”，这基本上就是所谓的“学习”。

结构化

看到这里，希望你的头脑里已经有了机器学习做二元分类问题的技术路线概貌。

下面咱们针对不同的数据类型，说说具体的操作形式和注意事项。

先说最简单的结构化数据。

例如《贷还是不贷：如何用Python和机器学习帮你决策？》一文中，我们见到过的客户信息。

处理这样的数据，你首先需要关注数据的规模。

如果数据量大，你可以使用复杂的模型。

如果数据量小，你就得使用简单的模型。

为什么呢？

因为越复杂的模型，表征的信息就越多。

表征的信息多，未必是好事。

因为你抓住的，既有可能是信号，也有可能是噪声。

如果表征信息多，可是学习过的数据不多，它可能就会对不该记住的信息，形成记忆。

在机器学习领域，这是最恐怖的结果——过拟合（overfitting）。

翻译成人话，就是见过的数据，分类效果极好；没见过的数据，表现很糟糕。

举一个我自己的例子。

我上学前班后没多久，我妈就被请了家长。

因为我汉语拼音默写，得了0分。

老师嘴上说，是怀疑我不认真完成功课；心里想的，八成是这孩子智商余额不足。

其实我挺努力的。

每天老师让回家默写的内容，都默了。

但是我默写的时候，是严格按照“a o e i u ……”的顺序默的。

因为每天都这样默写，所以我记住的东西，不是每个读音对应的符号，而是它们出现的顺序。

结果上课的时候，老师是这样念的“a b c d e ……”

我毫无悬念没跟下来。

我的悲剧，源于自己的心智模型，实际上只反复学习了一条数据“a o e i u ……”。每天重复，导致过拟合，符号出现在顺序中，才能辨识和记忆。

因此，见到了新的组合方式，就无能为力了。

看，过拟合很糟糕吧。

确定了模型的复杂度以后，你依然需要根据特征多少，选择合适的分类模型。

上图来自于 Scikit-learn ，我截取了其中“分类”模型部分，你可以做参考。

注意模型的效果，实际上是有等级划分的。

例如根据 Kaggle 数据科学竞赛多年的实践结果来看，Gradient Boosting Machine 优于随机森林，随机森林优于决策树。

这么比有些不厚道，因为三者的出现，也是有时间顺序的。

让爷爷跟孙子一起赛跑，公平性有待商榷。

因此，你不宜在论文中，将不同的分类模型，分别调包跑一遍，然后来个横向对比大测评。

许多情况下，这是没有意义的。

虽然显得工作量很大。

但假如你发现在你自己的数据集上面，决策树的效果就是明显优于 Gradient Boosting Machine ，那你倒是很有必要通过论文做出汇报。

尽管大部分审稿人都会认为，一定是你算错了。

另一个需要注意的事项，是特征工程（feature engineering）。

什么叫特征工程呢？

就是手动挑选特征，或者对特征（组合）进行转化。

例如《如何用Python和深度神经网络锁定即将流失的客户？》一文中，我们就对特征进行了甄别。其中三列数据，我们直接剔除掉了：

• RowNumber：行号，这个肯定没用，删除

• CustomerID：用户编号，这个是顺序发放的，删除

• Surname：用户姓名，对流失没有影响，删除

正式学习之前，你需要把手头掌握的全部数据分成3类：

• 训练集

• 验证集

• 测试集

我在给期刊审稿的时候，发现许多使用机器学习模型的作者，无论中外，都似乎不能精确理解这些集合的用途。

训练集让你的模型学习，如何利用当前的超参数（例如神经网络的层数、每一层的神经元个数等）组合，尽可能把表征拟合标记结果。

就像那个笑话说的一样：

Machine Learning in a Nutshell:

Interviewer: what's you biggest strength?

Me: I'm a quick learner.

Interviewer: What's 11*11?

Me: 65.

Interviewer: Not even close. It's 121.

Me: It's 121.

而验证集的存在，就是为了让你对比不同的超参数选择，哪一组更适合当前任务。它必须用训练集没有用过的数据。

验证集帮你选择了合适的超参数后，它的历史任务也就结束了。

这时候，你可以把训练集、验证集合并在一起，用最终确定的超参数组合进行训练，获得最优模型。

这个模型表现怎么样？

你当然需要其他的数据来评判。这就是为什么你还要划分出另外的测试集。

图像

François Chollet 在自己的书中举过一个例子，我觉得很有启发，一并分享给你。

假如你看到了这样的原始数据：

你该怎么做分类？

有的同学一看是图像，立刻决定，上卷积神经网络！

别忙，想想看，真的需要“直接上大锤”吗？

别的不说，那一圈的刻度，就对我们的模型毫无意义。

你可以利用特征工程，将其表达为这样的坐标点：

你看，这样处理之后，你立刻就拥有了结构化数据。

注意这个转换过程，并不需要人工完成，完全可以自动化。

但是举一反三的你，估计已经想到了“更好的”解决方案：

对，这样一来，表达钟表时间的数据，就从原先的4个数字，变成了只需要2个。

一个本来需要用复杂模型解决的问题，就是因为简单的特征工程转化，复杂度和难度显著下降。

其实，曾经人们进行图片分类，全都得用特征工程的方法。

那个时候，图片分类问题极其繁琐、成本很高，而且效果还不理想。

手动提取的特征，也往往不具备良好的可扩展性和可迁移性。

于是，深度卷积神经网络就登场了。

如果你的图片数据量足够多的话，你就可以采用“端到端”的学习方式。

所谓“端到端”，是指不进行任何的特征工程，构造一个规模合适的神经网络模型，扔图片进去就可以了。

但是，现实往往是残酷的。

你最需要了解的，是图片不够多的时候，怎么办。

这时候，很容易出现过拟合。

因为深度神经网络，属于典型的复杂模型。

这个时候，可以尝试以下几个不同的方法：

首先，如果有可能，搜集更多的带标注图片。这是最简单的办法，如果成本可以接受，你应该优先采用。

其次，使用数据增强（Data Augmentation）。名字听起来很强大，其实无非是把原始的数据进行镜像、剪裁、旋转、扭曲等处理。这样“新的”图片与老图片的标注肯定还是一样的。但是图片内容发生的变化，可以有效防止模型记住过多噪声。

第三，使用迁移学习。

所谓迁移学习，就是利用别人训练好的模型，保留其中从输入开始的大多数层次（冻结保留其层次数量、神经元数量等网络结构，以及权重数值），只把最后的几层敲掉，换上自己的几层神经网络，对小规模数据做训练。

上图同样来自于 François Chollet 的著作。

这种做法，用时少，成本低，效果还特别好。如果重新训练，图片数少，就很容易过拟合。但是用了迁移学习，过拟合的可能性就大大降低。

其原理其实很容易理解。

卷积神经网络的层次，越是靠近输入位置，表达的特征就越是细节；越到后面，就越宏观。

识别猫和狗，要从形状边缘开始；识别哆啦a梦和瓦力，也一样要从形状边缘开始。因此模型的底层，可以被拿来使用。

你训练的，只是最后几层表征方式。结构简单，当然也就不需要这么多数据了。

第四，引入 Dropout, Regularization 和 Early Stopping 等常规方法。注意这些方法不仅适用于图像数据。

以 Dropout 为例。假如一个模型因为复杂，所以记住了很多噪声，那么训练的时候，每次都随机将一定比例的神经元“扔掉”（设置权重为0），那么模型的复杂度降低。而且因为随机，又比降低层数与神经元个数的固化模型适用性更高。

文本

前面说过了，机器不认得文本，只认得数字。

所以，要对文本做二元分类，你需要把文本转换成为数字。

这个过程，叫做向量化。

向量化的方式，有好几种。大致上可以分成两类：

第一类，是无意义转换。也就是转换的数字，只是个编号而已，本身并不携带其他语义信息。

这一类问题，我们在《如何用Python和机器学习训练中文文本情感分类模型？》中，已经非常详细地介绍过了。

你需要做的，包括分词（如果是中文）、向量化、去除停用词，然后丢进一个分类模型（例如朴素贝叶斯，或者神经网络），直接获取结果，加以评估。

但是，这个过程，显然有大量的语义和顺序信息被丢弃了。

第二类，是有意义转换。这时候，每个语言单元（例如单词）转换出来的数字，往往是个高维向量。

这个向量，你可以自己通过训练来产生。

但是这种训练，需要对海量语料进行建模。

建模的过程，成本很高，占用庞大存储空间，运算量极大。

因此更常见的做法，是使用别人通过大规模语料训练后的结果。也就是我们曾经介绍过的词嵌入预训练模型。

具体内容，请参见《如何用Python处理自然语言？（Spacy与Word Embedding）》和《如何用 Python 和 gensim 调用中文词嵌入预训练模型？》。

注意如果你有多个预训练模型可以选择，那么尽量选择与你要解决任务的文本更为接近的那种。

毕竟预训练模型来自于统计结果。两种差别很大的语料，词语在上下文中的含义也会有显著差异，导致语义的刻画不够准确。

如果你需要在分类的过程中，同时考虑语义和语言单元顺序等信息，那么你可以这样做：

第一步，利用词嵌入预训练模型，把你的输入语句转化为张量，这解决了词语的语义问题；

第二步，采用一维卷积神经网络（Conv1D）模型，或者循环神经网络模型（例如 LSTM），构造分类器。

注意这一步中，虽然两种不同的神经网络结构，都可以应用。但是一般而言，处理二元分类问题，前者（卷积神经网络）表现更好。

因为卷积神经网络实际上已经充分考虑了词语的顺序问题；而循环神经网络用在此处，有些“大炮轰蚊子”。很容易发生过拟合，导致模型效果下降。

实施

如果你了解二元分类问题的整体流程，并且做好了模型的选择，那么实际的机器学习过程，是很简单的。

对于大部分的普通机器学习问题，你都可以用 Scikit-learn 来调用模型。

注意其实每一个模型，都有参数设置的需要。但是对于很多问题来说，默认初始参数，就能带来很不错的运行结果。

Scikit-learn 虽好，可惜一直不能很好支持深度学习任务。

因而不论是图像还是文本分类问题，你都需要挑选一个好用的深度学习框架。

注意，目前主流的深度学习框架，很难说有好坏之分。

毕竟，在深度学习领域如此动荡激烈的竞争环境中，“坏”框架（例如功能不完善、性能低下）会很快被淘汰出局。

然而，从易用性上来说，框架之间确实有很大区别。

易用到了一种极致，便是苹果的 Turi Create 。

从《如何用Python和深度神经网络识别图像？》和《如何用Python和深度神经网络寻找近似图片？》这两篇文章中，你应该有体会，Turi Create 在图像识别和相似度查询问题上，已经易用到你自己都不知道究竟发生了什么，任务就解决了。

但是，如果你需要对于神经网络的结构进行深度设置，那么 Turi Create 就显得不大够用了。

毕竟，其开发的目标，是给苹果移动设备开发者赋能，让他们更好地使用深度学习技术。

对于更通用的科研和实践深度学习任务，我推荐你用 Keras 。

它已经可以把 Theano, Tensorflow 和 CNTK 作为后端。

对比上面那张深度学习框架全家福，你应该看到，Keras 覆盖了 Google 和 微软自家框架，几乎占领了深度学习框架界的半壁江山。

照这势头发展下去，一统江湖也说不定哦。

为什么 Keras 那么厉害？

因为简单易学。

简单易学到，显著拉低了深度学习的门槛。

就连 Tensorflow 的主力开发人员 Josh Gordon，也已经认为你根本没必要去学习曾经的 Tensorflow 繁复语法了。

直接学 Keras ，用它完成任务，结束。

另外，使用深度学习，你可能需要 GPU 硬件设备的支持。这东西比较贵。建议你采用租用的方式。

《如何用云端 GPU 为你的 Python 深度学习加速？》提到的 FloydHub，租赁一个小时，大概需要1美元左右。注册账号就赠送你2个小时；

至于《如何免费云端运行Python深度学习框架？》中提到的 Google Colab ，就更慷慨了——到目前为止，一直是免费试用。

喜欢请点赞。还可以微信关注和置顶我的公众号“玉树芝兰”(nkwangshuyi)。

如果你对数据科学感兴趣，不妨阅读我的系列教程索引贴《如何高效入门数据科学？》，里面还有更多的有趣问题及解法。

答疑社区在这里：