机器学习

机器学习简介

传统算法设计：由人来分析问题得到模型，并将模型编码输入机器，机器只负责根据人编好的算法模型将输入转化为输出；
机器学习算法：人并不直接编写处理问题的算法模型，而是把利用数据进行学习的方法教给机器，机器自己根据输入与输出的对应关系抽象出问题处理模型

根据学习方式的不同，机器学习算法通常可以分为如下四类：

机器学习类别	机器学习特点
监督学习	训练时的输入是已知类别的训练样本，机器通过对这些已知类别的训练样本的学习，抽象训练样本与其类别之间的关系 ，通过训练及调优最终得到一个分类器。然后向这个分类器输入需要分类的新样本
无监督学习	由于机器不知道样本所属的具体类别，所以只能通过计算样本属性的相似度对输入数据进行建模，相似度高的会聚成一个类别，对比新样本，需要计算其与各个已知类别的相似度，将其归于相似度最高的类别
强化学习	核心在于奖励机制的设定，通过不断尝试自我迭代使自身行为在设定好的奖励机制下得到更多的正面反馈
迁移学习	核心在于利用任务与数据的相关性，将已有模型的参数迁移给新模型，从而使新模型的训练不必从零开始

监督学习和强化学习是目前应用范围最广且效果最好的机器学习方式；两者区别在于监督学习需要已知类别的训练样本，而强化学习需要能判断行为好坏的奖励机制；监督学习的有点在于见效快，强化学习的有点在于成本低、通用性强；监督学习得到的模型只能用来处理一类问题，强化学习有更对的通用性且更容易创新，得到之前从未有过的问题解决方法。

K-近邻算法（KNN）

KNN是一种监督学习分类算法，要求输入标注好类别的训练样本，且每个训练样本都有若干个用于分类的特征来标识。随后使用一个维数与训练样本特征数相同的坐标系来表示各个训练样本，每一维代表一个特征，训练样本在这个坐标系中被映射成一个个点。映射结束后，便得到了一个坐标系及该坐标系下的所有训练样本点。以上是KNN算法的训练过程。

当需要对新样本进行分类时，同样将其映射到该坐标系中，然后计算新样本所对应的坐标点与其他所有训练样本点见得欧式距离，找到距其欧式距离最短的K个训练样本点，并将K各训练样本中占比最大的类别定为这个新样本所述的类别。

特点：时间和空间复杂度都太高，内存占用比较高，计算量大

ID3决策树算法

ID3决策树也是一种监督学习算法，要求输入标注好类别的训练样本，且每个训练样本都有若干个用于分类的特征来标识。决策树算法训练的目的在于构建决策树，希望得到一颗可以将训练样本按其分类进行划分的决策树，如下图：

朴素贝叶斯分类算法

朴素贝叶斯分类算法是一种监督学习算法。算法核心是贝叶斯公式，该算法属于生成放方法，其模型属于生成模型，前面的ID3和kNN属于判别模型。

判别模型和生成模型的本质区别在于模型输入和输出的决定关系，判别模型假定输入决定输出，而生成模型假定输出决定输入。

逻辑回归算法