机器学习【如何学习】

如何学习机器学习

机器学习是一门快速发展的学科，学习机器学习需要掌握一定的数据基础和编程能力。但是很多人一听到数学就头大，就退缩，导致想要学习的新已经有两三年了， 但是学习的行动一直在心里，迟迟没有落地，有时候学习一个东西并不需要掌握那么多前置的准备知识，可以先上手，尝试了再说，就像学些编程语言一样，我们最先开始的都是从Hello World！ 开始。

机器学习也是一样，我们可以先尝试着解决问题，再回头研究底层的算法，数学知识，总之路上的风景一定是路上的人才能看到的，这跟现在的一个现状很想，之前像出国去万，但是不想报团，就像找两个搭子一起，几天都找不到一个，后来一个人出发了，结果发现路上全是搭子，印尼有搭子、马来、泰国都有搭子，所以找搭子最好的方式是在路上，而不是在家里，最好的搭子在路上！

基础

数学和编程语言是机器学习的基础，但是并不意味着你必须先去啃哪些枯燥无味的数学知识，这也不是我们提倡的，我们可以先动手尝试，再回头来了解哪些基础的知识。

数学

机器学习设计大量的数学知识，包括线性代数、概率论、统计学等。建议学习以下课程：

• 线性代数：学习矩阵、向量、行列式、特征值和特征向量等概念
• 概率论：学习概率分布、随机变量、期望、方差等概念
• 统计学：学习回归分析、假设检验、机器学习算法等概念

有无数激情满满大步向前，誓要在机器学习领域有一番作为的同学，在看到公式的一刻就觉得自己完了。是啊，机器学习之所以相对于其他开发工作，更优门槛的根本原因就是数学。每一个算法，要在训练集上最大程度拟合同时又保证泛化能力，需要不断分析结果和数据，调优菜蔬，这需要我们对数据分布和模型底层的数学原理有一定的理解。所幸的是如果只是像合理应用机器学习，而不是做相关方向高精尖的research，需要的数据知识肯伊肯还是基本能理解的。

编程语言

• python：Python是一种语法简单、易于学习的编程语言，是机器学习领域最常用的编程语言之一；

• R：R是一种专门用于统计分析和数据挖掘的编程语言。 

常见概念

• 特征：我们假设有函数y=ax+b，这里我们的自变量x，y是因变量。在机器学习中，这些自变量，就叫做特征（Feature）

• 标签：我们假设有函数y=ax+b，这里我们的自变量x，y是因变量。在机器学习中，因变量y叫做标签（label）；

• 数据集：一批历史特征和一批历史标签的集合，就是机器学习的数据集；

• 样本：机器学习模型训练和测试所使用的数据；

• 过拟合：模型在训练数据集上表现良好，但是在测试数据集上表现不好，就是模型过度模拟了训练数据的特征，导致泛化能力很差

• 欠拟合：模型在驯良数据集和测试数据集上表现都不好。就是说模型没有很好的从数据中发现数据的规律；

• 交叉验证：将训练数据集划分为多个子集，使用不同的自己进行训练和验证，以提高模型的评估准确性；

• 调参：调整模型的参数以获得更好的性能

• 特征工程：其实就是从数据中清洗加工特征的过程。

常见的机器学习算法

• 线性回归：用于回归问题

• 逻辑回归：用于分类问题

• 决策树：用于分类和回归问题

• 支持向量机：用于分类问题

• 朴素贝叶斯：用于分类问题

• KNN：用于分类和回归问题

• 随机森林：用于分类和回归问题

• 神经网络：用于分类、回归和自然语言处理等问题 

如何实践

学习机器学习需要进行大量的实践，可以参看Kaggle等比赛，或者自己动手开发机器学习项目。

并非所有的问题都适合用机器学习解决（很多逻辑清晰的问题用规则能很高效和准确的处理），也没有一个机器学习算法可以通用语所有问题。咱们先来了解机器学习，到底关心和解决什么问题。 

分类问题

根据数据样本上抽取出的特征，判定其属于有限个类别中的哪一个。比如：

• 垃圾邮件识别（结果类别：1、垃圾邮件2、正常邮件）
• 文本情感褒贬分析（结果类别：1褒义2贬义）
• 图像内容识别（结果类别：1、喵星人2、汪星人3、人类）

回归问题

根绝数据杨嫩上抽取出的特征，预测一个连续值的结果，比如： 

• 星爷《功夫》票房
• 大帝都2各月后的房价
• 隔壁熊孩子一天来你家几次

聚类问题

根据数据样本上抽取出的特征，让样本抱抱团（相近/相关的样本在一团内）。比如：

• google的新闻分类
• 用户群体划分
• 分类于回归问题需要用已知结果的数据做训练，属于”监督学习“
• 聚类的问题不需要已知的标签，属于”无监督学习“ 

初学机器学习可能有一个误区，就是一上来就陷入到对各种高大上算法的追逐中。动不动就我能不能用深度学习去解决这个问题，我是不是要用boosting算法做一些模型融合啊，我已知持有一个观点，【脱离业务和数据的算法讨论时毫无意义的】。

实际上按我们学习经验，从一个数据源开始，集市时最传统已经应用多年的机器学习算法，先完整的走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据价值，在运用过程中吧数据、特征和算法搞透，真正积累出项目经验才是最快、最靠谱的学习路径。

那如何获取数据和项目呢？一个结晶就是积极参加国内玩各种数据挖掘竞赛，数据直接下载下来，按照竞赛的要求去不断优化，积累经验。过完的Kaggle和国内DataCastle以及阿里天池比赛都是很好的平台，你可以在上面获取真实的数据和数据科学家们一起学习和进行竞赛，尝试使用已学过的所有知识来完成这个比赛本身也是一件很有了却的事情。和其他数据科学家的讨论能开阔视野，对机器学习算法有更深层次的认识。

基本流程

以上我们基本具备了机器学习的必要条件，剩下的就是怎么运用他们去做一个完整的机器学习项目。其工作流程如下：

明确问题

•  明确问题时进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试实践成本是非常高的。

• 这里的明确问题指的是，我们明确我们可以获得什么样的数据，目标是一个分类还是回归或者聚类的问题，如果都不是的化，如果划归为其中的某类问题。

获取数据

• 数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限；

• 数据要有代表性，狗则必然会过拟合

• 而且对于分类问题，数据倾斜不能过于严重，不同类别的数据量不要有数个量级的差距

• 而且还要对数据的量级有一个评估，多个样本，多个特征，可以估算出其堆内存的消耗程度，判断训练过程中内存是否能够放得下。如果放不下就考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大，那就要考虑分布式了。 

特征工程

特征工程主要包括特征处理与特征选择

• 良好的数据要能够提取的特征才是真正发挥效力
• 特征预处理，数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多实践就花在他们上面。这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。
• 筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了，非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。 

训练模型与调优

指导这一步才用到我们上面说的算法进行训练。现在很多算法都能够封装成黑盒供人使用。但是真正考验水平的是调整这些算法的参数，使得结果变得更加优良。这需要我们对算法的原理有深入的理解。理解越深入，就能发现问题的症结，提出良好的调优方案。

• 过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证，绘制学习曲线等。过拟合的基本调优思路是增加数据量，降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量，增加模型复杂度。
• 误差分析 也是机器学习至关重要的步骤。通过观察误差样本，全面分析误差产生误差的原因：是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题
• 诊断后的模型需要进行调优，调优后的新模型 需要重新进行诊断，这是一个反复诊断不断逼近的过程，需要不断地尝试，进而达到最佳状态。

模型发布

这一部分地内容主要是跟工程实现地相关性比较大。工程上是结果导向，模型在线上运行地效果直接决定模型地成败。不单纯包括其准确的、误差等情况，还包括其运行地速度（时间复杂度）、资源消耗程度（空间复杂度）、稳定性是否可接收。

这些工作流程主要是工程实践上总结出来地一些经验。并不是每个项目都包含完整的一个流程。这里的部分只是一个指导性的说明，只有大家自己多实践，多积累项目经验，才会有自己更深刻的认识。