机器学习入门篇

小阿奇觉得机器学习是一个特别有意思的领域，这几年人工智能，大数据的兴起，也加速了它的成长与发展。既然我们要学好它，那么首先就得好好地了解认识一下它。

一、机器学习概念

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径。（百度百科）
周志华老师在西瓜书中是这么定义的：我们通过气候和环境能够预测到明天天气的好坏，通过西瓜的外表特征以及声音来判断是否好瓜。是因为我们已经积累有效的经验，通过对经验的利用，就能对新情况作出有限的判断和决策。而机器学习就是致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。对于计算机来说“经验”就是“数据”，通过学习数据，产生模型的算法，就能给出判断，可以说机器学习是研究关于**“学习算法”**的学问。我的理解就是，让计算机通过模型算法，掌握了知识和经验，从而分析判别一些问题。

二、机器学习的现状

机器学习(machine learning)是继专家系统之后人工智能应用的又一重要研究领域，也是人工智能和神经计算的核心研究课题之一．机器学习是人工智能领域中较为年轻的分支，其发展过程可分为4个时期: 1)20世纪50年代中期到60 年代中期，属于热烈时期; 2)60年代中期至70年代中期,被称为机器学习的冷静时期;3)70年代中期至80年代中期，称为复兴时4)1986年开始是机器学习的最新阶段.这个时期的机器学习具有如下特点:机器学习已成为新的边缘学科并在高校成为一门独立课程;融合了各种学习方法且形式多样的集成学习系统研究正在兴起;机器学习与人工智能各种基础问题的统一性观点正在形成;各种学习方法的应用范围不断扩大，一部分应用研究成果已转化为商品;与机器学习有关的学术活动空前活跃.
国内目前对于机器学习的研究也是空前活跃，主要在以下几个方面体现：
1.泛化能力的研究；
2.监督学习算法向多示例学习算法转化的一般准则；
3.机器学习技术在工作流模型设定中的作用；
4.机器学习技术在数据挖掘中的商业作用；
5.基于机器学习的入侵检测技术；
6.人工智能原理在人类学习中的应用。

三、机器学习的分类

上图大致的将机器学习框架进行了划分，下面将进行详细的介绍

1.有监督学习

从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。
简单的说就是：数据集中的每个样本有相应的“正确答案”， 根据这些样本做出预测， 可以划分为： 回归问题和分类问题。

a.回归

比如预测房价， 根据样本集拟合出一条连续曲线

b.分类

如判定邮箱所收邮件是否为垃圾邮件，结果为离散型数值

2.非监督学习

输入数据没有被标记，也没有确定的结果。样本数据类别未知， 需要根据样本间的相似性对样本集进行分类（聚类， clustering）试图使类内差距最小化，类间差距最大化。

3.半监督学习

训练集同时包含有标记样本数据和未标记样本数据

4.强化学习

观上来说，强化学习是智能体与环境不断交互，从而不断强化自己的决策能力的过程。比如让小只小狗自行训练，做的对奖励一根骨头，做错受到惩罚，那么它最终会变得十分训练有素。

四、常见算法

	线性回归
    逻辑回归
    决策树
    SVM
    朴素贝叶斯
    K最近邻算法
    K均值算法
    随机森林算法
    降维算法
    Gradient Boost 和 Adaboost 算法
    ......
    后面小阿奇会和大家一起对这些算法进行详细介绍

五、机器学习常见专业术语

在做机器学习开发项目，难免会遇到很多常出现的专业术语。了解这些术语既方便我们交流学习，也更加凸显自身的专业性。所以小阿奇整理了一部分出现概率比较高的一些词来和大家一起学习

名称	含义	备注
准确率	分类模型预测准确的比例	-----
激活函数	种函数（例如 ReLU 或 Sigmoid），将前一层所有神经元激活值的加权和输入到一个非线性函数中，然后向下一层传递该函数的输出值（典型的非线性）。	-----
反向传播（BP）	神经网络中完成梯度下降的重要算法。首先，在前向传播的过程中计算每个节点的输出值。然后，在反向传播的过程中计算与每个参数对应的误差的偏导数。	-----
基线（Baseline）	被用为对比模型表现参考点的简单模型	-----
收敛	当对当前数据继续训练而无法再提升模型的表现水平的时候	-----
交叉熵	多类别分类问题中对 Log 损失函数的推广。交叉熵量化两个概率分布之间的区别	-----
样本	一个数据集的一行内容。一个样本包含了一个或多个特征，也可能是一个标签	-----
特征	输入变量，用于做出预测	-----
泛化	指模型利用新的没见过的数据而不是用于训练的数据作出正确的预测的能力	-----
梯度	所有变量的偏导数的向量。在机器学习中，梯度是模型函数的偏导数向量	-----
梯度下降(GD)	通过计算模型的相关参量和损失函数的梯度最小化损失函数，值取决于训练数据。梯度下降迭代地调整参量，逐渐靠近权重和偏置的最佳组合，从而最小化损失函数。	-----
超参数	连续训练模型的过程中可以拧动的「旋钮」	-----
学习率(LR)	通过梯度下降训练模型时使用的一个标量。每次迭代中，梯度下降算法使学习率乘以梯度，乘积叫作 gradient step，学习率是一个重要的超参数。	-----
过拟合（overfitting）	创建的模型与训练数据非常匹配，以至于模型无法对新数据进行正确的预测。	-----
召回率（recall）	模型能够准确识别多少正标签？	-----
优化器（optimizer）	梯度下降算法的特定实现	-----

参考：
《机器学习的发展现状及其相关研究》
常用术语链接：
链接: link.