机器学习入门

一、机器学习初识

1.1 机器学习定义

Machine Learning(ML) is a scientific discipline that deals with the construction and study of algorithms that can learn from data.

机器学习是一门从数据中研究算法的科学学科。

机器学习直白来讲，是根据已有的数据，进行算法选择，并基于算法和数据构建模型，最终对未来进行预测

1.2 机器学习理性认识

1.2.1 基本概念

• 输入：x∈X（属性值）
• 输出：y∈Y（目标值）
• 目标函数（target function）:f:X−>Y（理想的公式）
• 输入数据：D=｛(x1,y1),(x2,y2),...,(xn,yn)｝（历史记录数据）
• 最终具有最优性能的假设公式：g:X−>Y

• 目标函数f未知（无法得到）
• 假设函数g类似函数f，但是可能和函数f不同，机器学习中无法找到一个完美的函数f

• 从数据中获得一个假设的函数g，使其非常接近目标函数f的效果。

1.3 机器学习概念

1.3.1 经典定义

美国卡内基梅隆大学（Carnegie Mellon University）机器学习研究领域的著名教授TomMitchell对机器学习的经典定义

A program can be said to learn from experience E with respect to some class of tasks T and performance measure P , If its performance at tasks in T, as measured by P, improves with experience E.

对于某给定的任务T，在合理的性能度量方案P的前提下，某计算机程序可以自主学习任务T的经验E；随着提供合适、优质、大量的经验E，该程序对于任务T的性能逐步提高。

其中重要的机器学习对象：任务Task T，一个或多个、经验Experience E、度量性能Performance P

即：随着任务的不断执行，经验的累积会带来计算机性能的提升。

算法(T)：根据业务需要和数据特征选择的相关算法， 也就是一个数学公式

模型(E)：基于数据和算法构建出来的模型

评估/测试(P)：对模型进行评估的策略

1.3.2 向量

机器学习是人工智能的一个分支。我们使用计算机设计一个系统，使它能够根据提供的训练数据按照一定的方式来学习；随着训练次数的增加，该系统可以在性能上不断学习和改进；通过参数优化的学习模型，能够用于预测相关问题的输出

1.3.3 拟合、过拟合

拟合：构建的算法符合给定数据的特征

鲁棒性：也就是健壮性、稳健性、强健性,是系统的健壮性；当存在异常数据的时候，算法也会拟合数据

过拟合：算法太符合样本数据的特征，对于实际生产中的数据特征无法拟合

欠拟合：算法不太符合样本的数据特征

二、机器学习之常见应用框架

1. sciket-learn(Python)   http://scikit-learn.org/stable/
2. Mahout(Hadoop生态圈基于MapReduce)   http://mahout.apache.org/
3. Spark Mllib   http://spark.apache.org/

应用场景选择：

https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html

三、机器学习之商业场景

个性化推荐：个性化指的是根据各种因素来改变用户体验和呈现给用户内容，这些因素可能包含用户的行为数据和外部因素；推荐常指系统向用户呈现一个用户可能感兴趣的物品列表。

精准营销：从用户群众中找出特定的要求的营销对象。

客户细分：试图将用户群体分为不同的组，根据给定的用户特征进行客户分组。

预测建模及分析：根据已有的数据进行建模，并使用得到的模型预测未来。

四、机器学习、数据分析、数据挖掘区别与联系

数据分析：数据分析是指用适当的统计分析方法对收集的大量数据进行分析，并提取有用的信息，以及形成结论，从而对数据进行详细的研究和概括过程。在实际工作中，数据分析可帮助人们做出判断；数据分析一般而言可以分为统计分析、探索性数据分析和验证性数据分析三大类。

数据挖掘：一般指从大量的数据中通过算法搜索隐藏于其中的信息的过程。通常通过统计、检索、机器学习、模式匹配等诸多方法来实现这个过程。

机器学习：是数据分析和数据挖掘的一种比较常用、比较好的手段。

五、机器学习分类

5.1 有无标签划分

5.1.1 有监督学习

用已知某种或某些特性的样本作为训练集，以建立一个数学模型，再用已建立的模型来预测未知样本，此种方法被称为有监督学习，是最常用的一种机器学习方法。是从标签化训练数据集中推断出模型的机器学习任务。

1. 判别式模型(Discriminative Model)：直接对条件概率p(y|x)进行建模，常见判别模型有：线性回归、决策树、支持向量机SVM、k近邻、神经网络等；
2. 生成式模型(Generative Model)：对联合分布概率p(x,y)进行建模，常见生成式模型有：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等；

生成式模型更普适；判别式模型更直接，目标性更强

生成式模型关注数据是如何产生的，寻找的是数据分布模型；判别式模型关注的数据的差异性，寻找的是分类面

由生成式模型可以产生判别式模型，但是由判别式模式没法形成生成式模型

5.1.2 无监督学习

与监督学习相比，无监督学习的训练集中没有人为的标注的结果，在非监督的学习过程中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。

1. 无监督学习试图学习或者提取数据背后的数据特征，或者从数据中抽取出重要的特征信息，常见的算法有聚类、降维、文本处理(特征抽取)等。
2. 无监督学习一般是作为有监督学习的前期数据处理，功能是从原始数据中抽取出必要的标签信息。

5.1.3 半监督学习（SSL）

考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题，是有监督学习和无监督学习的结合

主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。半监督学习对于减少标注代价，提高学习机器性能具有非常重大的实际意义。

SSL的成立依赖于模型假设，主要分为三大类：平滑假设、聚类假设、流行假设；其中流行假设更具有普片性。

SSL类型的算法主要分为四大类：半监督分类、半监督回归、半监督聚类、半监督降维。

缺点：抗干扰能力弱，仅适合于实验室环境，其现实意义还没有体现出来；未来的发展主要是聚焦于新模型假设的产生。

5.2 功能性分类

分类

通过分类模型，将样本数据集中的样本映射到某个给定的类别中（一般四有监督）

聚类

通过聚类模型，将样本数据集中的样本分为几个类别，属于同一类别的样本相似性比较大（属于无监督）

回归

反映了样本数据集中样本的属性值的特性，通过函数表达样本映射的关系来发现属性值之间的依赖关系

关联规则

获取隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现频率。（也属于无监督）

5.3 机器学习算法Top10：

算法名称	算法描述
C4.5	分类决策树算法，决策树的核心算法，ID3算法的改进算法。
CART	分类与回归树(Classification and Regression Trees)
kNN	K近邻分类算法；如果一个样本在特征空间中的k个最相似的样本中大多数属于某一个 类别，那么该样本也属于该类别
NaiveBayes	贝叶斯分类模型；该模型比较适合属性相关性比较小的时候，如果属性相关性比较大的 时候，决策树模型比贝叶斯分类模型效果好(原因：贝叶斯模型假设属性之间是互不影 响的)
SVM	支持向量机，一种有监督学习的统计学习方法，广泛应用于统计分类和回归分析中。
EM	最大期望算法，常用于机器学习和计算机视觉中的数据集聚领域
Apriori	关联规则挖掘算法
K-Means	聚类算法，功能是将n个对象根据属性特征分为k个分割(k<n); 属于无监督学习
PageRank	Google搜索重要算法之一
AdaBoost	迭代算法；利用多个分类器进行数据分类

六、机器学习、人工智能和深度学习的关系

深度学习是机器学习的子类；深度学习是基于传统的神经网络算法发展到多隐层的一种算法体现。

机器学习是人工智能的一个子类

七、机器学习开发流程

上图片

7.1 数据收集与存储

数据来源

1. 用户访问行为数据、业务数据、外部第三方数据

数据存储

1. 需要存储的数据：原始数据、预处理后数据、模型结果
2. 存储设施：mysql、HDFS、HBase、Solr、Elasticsearch、Kafka、Redis等

数据收集方式

1. Flume & Kafka（大数据方向的时候要掌握）

7.1.1 机器学习可用公开数据集

在实际工作中，我们可以使用业务数据进行机器学习开发，但是在学习过程中，没有业务数据，此时可以使用公开的数据集进行开发，常用数据集如下：

• http://archive.ics.uci.edu/ml/datasets.html
• https://aws.amazon.com/cn/public-datasets/
• https://www.kaggle.com/competitions
• http://www.kdnuggets.com/datasets/index.html
• http://www.sogou.com/labs/resource/list_pingce.php
• https://tianchi.aliyun.com/datalab/index.htm 国内的：天池的数据
• http://www.pkbigdata.com/common/cmptIndex.html

7.2 数据预清洗和转换

实际生产环境中机器学习比较耗时的一部分

大部分的机器学习模型所处理的都是特征，特征通常是输入变量所对应的可用于模型的数值表示

大部分情况下 ，收集得到的数据需要经过预处理后才能够为算法所使用，预处理的操作

主要包括以下几个部分：

1. 数据过滤
2. 处理数据缺失
3. 处理可能的异常、错误或者异常值
4. 合并多个数据源数据
5. 数据汇总

对数据进行初步的预处理，需要将其转换为一种适合机器学习模型的表示形式，对许多模型类型来说，这种表示就是包含数值数据的向量或者矩阵

1. 将类别数据编码成为对应的数值表示(一般使用one-hot编码方法)
2. 从文本数据中提取有用的数据(一般使用词袋法或者TF-IDF)
3. 处理图像或者音频数据(像素、声波、音频、振幅等<傅里叶变换>，小波变换主要处理图像)
4. 数值数据转换为类别数据以减少变量的值，比如年龄分段
5. 对数值数据进行转换，比如对数转换
6. 对特征进行正则化、标准化，以保证同一模型的不同输入变量的值域相同
7. 对现有变量进行组合或转换以生成新特征，比如平均数 (做虚拟变量)不断尝试

7.2.1 类型特征转换之1-of-k

功能：将非数值型的特征值转换为数值型的数据

描述：假设变量的取值有 k 个，如果对这些值用 1 到 k 编序，则可用维度为 k的向量来表示一个变量的值。在这样的向量里，该取值所对应的序号所在的元素为1，其他元素均为0.

7.2.2 词袋法、TF-IDF

词袋法：将文本当作一个无序的数据集合，文本特征可以采用文本中的词条T进行体现，那么文本中出现的所有词条及其出现的次数就可以体现文档的特征

TF-IDF: 词条的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降；也就是说词条在文本中出现的次数越多，表示该词条对该文本的重要性越高，词条在所有文本中出现的次数越少，说明这个词条对文本的重要性越高。TF(词频)指某个词条在文本中出现的次数，一般会将其进行归一化处理(该词条数量/该文档中所有词条数量)；IDF(逆向文件频率)指一个词条重要性的度量，一般计算方式为总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。TF-IDF实际上是：TF * IDF

TF-IDF举例：

• 文档1内容：A(2)、B(1)、C(3)、D(9)、E(1)
• 文档2内容：A(1)、B(5)、C(2)、D(10)

7.3 特征提取

7.4 模型构建

模型选择：对特定任务最优建模方法的选择或者对特定模型最佳参数的选择。

7.5 模型测试评估

在训练数据集上运行模型(算法)并在测试数据集中测试效果，迭代进行数据模型的修改，这种方式被称为交叉验证(将数据分为训练集和测试集，使用训练集构建模型，并使用测试集评估模型提供修改建议)

模型的选择会尽可能多的选择算法进行执行，并比较执行结果

模型的测试一般以下几个方面来进行比较，分别是准确率/召回率/精准率/F值

1. 准确率(Accuracy)=提取出的正确样本数/总样本数
2. 召回率(Recall)=正确的正例样本数/样本中的正例样本数——覆盖率
3. 精准率(Precision)=正确的正例样本数/预测为正例的样本数
4. F值=Precision*Recall*2 / (Precision+Recall) (即F值为正确率和召回率的调和平均值)

7.5.1 混淆矩阵

混淆矩阵（confusion matrix）来源于信息论，在机器学习、人工智能领域，混淆矩阵（confusion matrix）又称为可能性表格或是错误矩阵，是一种用矩阵呈现的可视化工具，用于有监督学习，无监督学习通常用匹配矩阵（matching matrix）。其名字源自它容易表明多个类是否有混淆，可以同通过混淆矩阵的一些指标衡量算法的精度。

分类器的评估与分类器本身同样重要，评估分类器可信度的一个基本工具。以一个二分类问题作为研究对象，矩阵的列表每一列表示预测值，每一行表示实际类。

http://www2.cs.uregina.ca/~dbd/cs831/notes/confusion_matrix/confusion_matrix.html
https://en.wikipedia.org/wiki/Precision_and_recall

(1)真正类(True Positive , TP)：被模型预测为正类的正样本

(2)假正类(False Positive , FP)：被模型预测为正类的负样本

(3)假负类(False Negative , FN)：被模型预测为负类的正样本

(4)真负类(True Negative , TN)：被模型预测为负类的负样本

(1)真正类率(True Positive Rate , TPR)【灵敏度(sensitivity)】：TPR = TP /(TP + FN) ，即正样本预测结果数/正样本实际数

(2)假负类率(False Negative Rate , FNR) ：FNR = FN /(TP + FN) ，即被预测为负的正样本结果数/正样本实际数

(3)假正类率(False Positive Rate , FPR) ：FPR = FP /(FP + TN) ，即被预测为正的负样本结果数/负样本实际数

(4)真负类率(True Negative Rate , TNR)【特指度(specificity)】：TNR = TN /(TN + FP) ，即负样本预测结果数/负样本实际数

准确率=正确预测正负的个数/总个数（这个指标在python中的交叉验证时可以求准确率）

覆盖率（也叫作召回率）=正确预测正的个数/实际正的个数 （当然也可以是负覆盖率）

命中率=正确预测正的个数/预测正的个数

7.5.2 ROC曲线

ROC（Receiver Operating Characteristic） 最初源于20世纪70年代的信号检测理论，描述的是分类混淆矩阵中FPR-TPR两个量之间的相对变化情况，ROC曲线的纵轴是“真正例率”（True Positive Rate 简称TPR），横轴是“假正例率” （False Positive Rate 简称FPR）。

如果二元分类器输出的是对正样本的一个分类概率值，当取不同阈值时会得到不同的混淆矩阵，对应于ROC曲线上的一个点。那么ROC曲线就反映了FPR与TPR之间权衡的情况，通俗地来说，即在TPR随着FPR递增的情况下，谁增长得更快，快多少的问题。TPR增长得越快，曲线越往上屈，AUC就越大，反映了模型的分类性能就越好。当正负样本不平衡时，这种模型评价方式比起一般的精确度评价方式的好处尤其显著。

ROC是怎么画出来的呢，例如在一个二分类模型中，对于所预测得到概率结果，假设已确定一个阈值，比如说 0.6，大于这个值的实例划归为正类，小于这个值则划到负类中。如果减小阈值，减到0.5，固然能识别出更多的正类，也就是提高了识别出的正例占所有正例的比例，即TPR，但同时也将更多的负实例当作了正实例，即提高了FPR。为了形象化这一变化，在此引入ROC

7.5.3 AUC

AUC（Area Under Curve）被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而AUC作为数值可以直观的评价分类器的好坏，值越大越好。

• AUC = 1，是完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
• 0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
• AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
• AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

7.5.4 模型评估总结_回归算法评估方式：

指标	描述	scikit-learn
Precision	精确度	from sklearn.metrics import precision_score
Recall	召回率	from sklearn.metrics import recall_score
F1	F1指标	from sklearn.metrics import f1_score
Confusion Matrix	混淆矩阵	from sklearn.metrics import confusion_matrix
ROC	ROC曲线	from sklearn.metrics import roc
AUC	ROC曲线下的面积	from sklearn.metrics import auc
Mean Square Error(MSE, RMSE)	平均方差	from sklearn.metrics import mean_squared_error
Absolute Error(MAE, RAE)	绝对误差	from sklearn.metrics import mean_absolute_error, median_absolute_error
R-Squared	R平方值	from sklearn.metrics import r2_score

7.6 投入使用(模型部署与整合)

1. 当模型构建好后，将训练好的模型存储到数据库中，方便其它使用模型的应用加载(构建好的模型一般为一个矩阵)
2. 模型需要周期性：一个月、一周

7.7 迭代优化（模型的监控与反馈）

1. 当模型一旦投入到实际生产环境中，模型的效果监控是非常重要的，往往需要关注业务效果和用户体验，所以有时候会进行A/B测试（3:7测试：就是原来系统和加了算法的测试，测试两者的区别）
2. 模型需要对用户的反馈进行响应操作，即进行模型修改，但是要注意异常反馈信息对模型的影响，故需要进行必要的数据预处理操作6.8 模型过程