人工智能概论学习笔记（四）：机器学习

有监督学习和无监督学习的理解：

首先看什么是学习（learning）？一个成语就可概括：举一反三。此处以高考为例，高考的题目在上考场前我们未必做过，但在高中三年我们做过很多很多题目，懂解题方法，因此考场上面对陌生问题也可以算出答案。机器学习的思路也类似：我们能不能利用一些训练数据（已经做过的题），使机器能够利用它们（解题方法）分析未知数据（高考的题目）？
监督学习就是对具有标签（label）的训练样本（train data）进行学习，找到data和label之间的映射关系（mapping，更确切的说是一个function），从而利用该映射关系对无标签的样本进行预测（predict），得到其标签。
在监督学习领域，两大研究分支是：
　· Regression（回归）
　· Classification（分类）
　
　分类和回归，本质上都是对样本数据的一种预测，区别在于输出变量的类型。
　定量输出称为回归，或者说是连续变量预测；
　定性输出称为分类，或者说是离散变量预测。

举个例子：
　预测明天的气温是多少度，或者预测房价未来的走势，期末能考多少分，这是一个回归任务；
　预测明天是阴、晴还是雨，或者预测房价未来的涨跌，期末及格或不及格，就是一个分类任务。
从数学的角度来说，
　分类问题和回归问题都要根据训练样本找到一个实值函数g(x)。
　回归问题是：
　给定一个新的样本x，根据训练集推断它所对应的输出y（实数）是多少，也就是使用y=g(x)来推断任一输入x所对应的输出值。
　分类问题是：
　给定一个新的样本x，根据训练集推断它所对应的类别（如：+1，-1），也就是使用y=sign(g(x))来推断任一输入x所对应的类别。
　综上，回归问题和分类问题的本质一样，不同仅在于他们的输出的取值范围不同。
　分类问题中，输出只允许取两个值；而在回归问题中，输出可取任意实数。分类一般针对离散型结果而言的，回归是针对连续型结果的，本质上是一样的。

有监督学习：你有一些问题和他们的答案，你要做的有监督学习就是学习这些已经知道答案的问题。然后你就具备了经验了，这就是学习的成果。然后在你接受到一个新的不知道答案的问题的时候，你可以根据学习得到的经验，得出这个新问题的答案。（试想一下高考不正是这样，好的学习器就能有更强的做题能力，考好的分数，上好的大学…）。

我们有一些问题，但是不知道答案，我们要做的无监督学习就是按照他们的性质把他们自动地分成很多组，每组的问题是具有类似性质的（比如数学问题会聚集在一组，英语问题会聚集在一组，物理…）。

所有数据只有特征向量没有标签，但是可以发现这些数据呈现出聚群的结构，本质是一个相似的类型的会聚集在一起。把这些没有标签的数据分成一个一个组合，就是聚类（Clustering）。比如Google新闻，每天会搜集大量的新闻，然后把它们全部聚类，就会自动分成几十个不同的组（比如娱乐，科技，政治…），每个组内新闻都具有相似的内容结构

比如老师正在讲课，你们能听到老师的声音，这时，某个位置又传来了另外一个声音，虽然你们事先不知道这个声音具体是谁发出的，但是可以根据声音的方位特征，推断或猜测出声音来自的方向。

比如读文学著作或者听音乐，在开始读这些内容时可能并没有什么目的，只是出于爱好或者消磨时间，但逐渐深入后，可能又会归结出一些深层的联系，比如写作风格，思维方式，旋律节奏等。

比如说做英文的阅读理解题，一段文章5个问题，里面有对应的答案。有一些对答案有用的描述和无用的描述，需要快速过滤掉无用的描述，找到答案直接对应的描述
做肿瘤识别，从MRI影像中提取图像特征，50个，但对于我们的识别目标（良恶性、是否转移等），可能只有部分特征有用，这时我们需要筛选出有用的特征。但实现我们并不知道那些特征有用。
基因筛查上万个序列，针对某种特定疾病，筛选出与之相关的基因序列。

分类 回归
聚类 概论分布估计 特征关联 降维

半监督学习：
传统的机器学习技术分为两类，一类是无监督学习，一类是监督学习。

无监督学习只利用未标记的样本集，而监督学习则只利用标记的样本集进行学习。

但在很多实际问题中，只有少量的带有标记的数据，因为对数据进行标记的代价有时很高，比如在生物学中，对某种蛋白质的结构分析或者功能鉴定，可能会花上生物学家很多年的工作，而大量的未标记的数据却很容易得到。

这就促使能同时利用标记样本和未标记样本的半监督学习技术迅速发展起来。
————————————————
版权声明：本文为CSDN博主「ice110956」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/ice110956/article/details/13775071

强化学习：
强化学习：另一个关键组成部分是关于如何模仿一个人（或动物）的学习，设想感知/行为/奖励循环的非常自然的动物行为。一个人或者一个动物首先会通过感知他或者她所处的状态来了解环境。在此基础上，他或者她会选择一个“动作”，将他或者她带到另一个“状态”。那么他或她将获得“奖励”，循环重复，直到他或她消失。这种学习方式（称为强化学习）与传统监督机器学习的曲线拟合方法有很大不同。尤其是，强化学习学习得非常快，因为每一个新的反馈（例如执行一个行动并获得奖励）都被立即发送到影响随后的决定。强化学习也提供了预测和优化的平滑整合，因为它在采取不同的行动时保持当前状态的信念和可能的转换概率，然后做出决定哪些行动可以导致最佳结果

作者：阿里云云栖号
链接：https://www.zhihu.com/question/279973545/answer/444230992
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

KNN

KNN（K-Nearest Neighbor）工作原理：存在一个样本数据集合，也称为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类对应的关系。输入没有标签的数据后，将新数据中的每个特征与样本集中数据对应的特征进行比较，提取出样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k近邻算法中k的出处，通常k是不大于20的整数。最后选择k个最相似数据中出现次数最多的分类作为新数据的分类。

说明：KNN没有显示的训练过程，它是“懒惰学习”的代表，它在训练阶段只是把数据保存下来，训练时间开销为0，等收到测试样本后进行处理。

1.算距离：给定测试对象，计算它与训练集中的每个对象的距离；
2.找邻居：圈定距离最近的k个训练对象，作为测试对象的近邻；
3.做分类：根据这k个近邻归属的主要类别，来对测试对象分类。

优点：

1. 简单，易于理解，易于实现，无需估计参数，无需训练；
2. 适合对稀有事件进行分类；
3. 特别适合于多分类问题(multi-modal,对象具有多个类别标签)， kNN比SVM的表现要好。

2.6.2 缺点
5. 懒惰算法，对测试样本分类时的计算量大，内存开销大，评分慢；
6. 当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数；
7. 可解释性较差，无法给出决策树那样的规则。

KNN算法是一个将n个物体根据属性分成k个分区的算法：

给定一个k, 初始化之后，knn算法分三步执行。
初始化：设置种子点（随机）
1.将每个对象分配给用特定距离度量测量的最近种子点的集群
2.计算新的种子点作为当前分区集群的中心（中心是集群的中心，即平均点）
3.返回到步骤 1），在不再执行新任务时停止（即每个集群中的成员不再更改）

分组通过最大限度地减少数据与相应集群中心之间的距离平方总和来完成。

当训练数据量过少时，监督学习得到的模型效果不能满足需求，因此用半监督学习来增强效果。训练样本少，会导致两个问题，一方面是样本的分布不能真正代表真实数据的分布特征，另一方面是数据量过少不能满足训练学习的要求，“只能remember，不能learn”。这两个原因都会导致训练数据得到的模型会出现不能正确找到真实数据的分类边界问题。