zero_ling

机器学习主要类型（五）：系列总结_思维导图（监督学习、无监督学习、半监督学习、强化学习）_ _ _ _ _ _ 机器学习主要类型系列文章更新完毕，喜欢的朋友可以关注后续其他文章 _ _ _ _ _ _ 《机器学习主要类型》系列文章往期回顾：机器学习主要类型（一）：监督学习机器学习主要类型（二）：无监督学习机器学习主要类型（三）：半监督学习机器学习主要类型（四）：强化学习参考书目：周志华.《机器学习》邱锡鹏.《神经网络与深度学习》...

机器学习主要类型（四）：强化学习 Reinforcement Learning强化学习和监督学习的不同在于，强化学习问题不需要给出“正确”策略作为监督信息，只需要给出策略的（延迟）回报，并通过调整策略来取得最大化的期望回报→强化学习和监督学习的区别：1）强化学习的样本通过不断与环境进行交互产生，即试错学习，而监督学习的样本由人工收集并标注；2）强化学习的反馈信息只有奖励，并且是延迟的，而监督学习需要明确的指导信息（每一个状态对应的动作）4.1马尔可夫决策过程 Markov Decision Proce

机器学习主要类型（三）：半监督学习 Semi-Supervised Learning让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能未标记样本虽未直接包含标记信息，但若它们与有标记样本是从同样的数据源独立同分布采样而来，则它们所包含的关于数据分布的信息对建立模型将大有裨益半监督学习可进一步划分为纯（pure）半监督学习和直推学习 （transductive learning），前者假定训练数据中的未标记样本并非待预测的数据，而后者则假定学习过程中所考虑的未标记样本恰是待预测数据，学习的目的

机器学习主要类型（二）：无监督学习 Unsupervised Learning2.1 无监督特征学习 Unsupervised Feature Learning一般用来进行降维、数据可视化或监督学习前期的数据预处理2.1.1主成分分析2.1.2稀疏编码2.1.3自编码器2.1.4稀疏自编码器 Sparse Auto-Encoder假设中间隐藏层z的维度M大于输入样本x的维度D，并让z尽量稀疏，这就是稀疏自编码器2.1.5堆叠自编码器 Stacked Auto-Encoder对很多数据

机器学习主要类型（一）：监督学习Supervised Learning1.1 分类1.1.1 二分类（类别标签y∈{-1，+1}或{0,1}）1.1.2 多分类（分类的类别数C大于2，通常需要多个线性判别函数）1.1.3类别不平衡问题class-imbalance一般的分类学习方法都有一个共同的基本假设：不同类别的训练样例数目相当。但如果不同类别的训练样例数目差别很大，则会对学习过程造成困扰。解决? → 一个基本策略：“再缩放rescaling”：分类器是基于进行决策，因此需对其预测值进行

前十章总结_思维导图1、模型评估与选择_计算学习理论_特征选择2、决策树_贝叶斯分类器_概率图模型3、降维与度量学习_集成学习4、规则学习_ _ _ _ _ _ 机器学习基础系列文章更新完毕，喜欢的朋友可以关注后续“机器学习主要类型”系列文章_ _ _ _ _ _机器学习基础系列文章回顾：机器学习基础（一）：简介机器学习基础（二）：模型评估与选择机器学习基础（三）：决策树机器学习基础（四）：特征选择与稀疏学习机器学习基础（五）：计算学习理论（PAC学习、有限假设空间、VC维、

10、规则学习 rule learning从训练数据中学习出一组能用于对未见示例进行判别的规则优势：①与神经网络、支持向量机这样的黑箱模型相比，规则学习具有更好的可解释性，使用户更直观地对判别过程有所了解②数理逻辑有极强的表达能力，绝大多数人类知识都能通过数理逻辑进行简洁的刻画和表达，因此规则学习能更自然地在学习过程中引入领域知识③逻辑规则的抽象描述能力在处理一些高度复杂的AI任务时具有显著的优势规则集合：规则集合中的每条规则都可看做一个子模型，规则集合是这些子模型的一个集成冲突：同一个示例被

9、集成学习 ensemble learning通过构建并结合多个学习器来完成学习任务，有时也称为多分类器系统multi-classifier system、基于委员会的学习committee-based learning同质homogeneous集成：集成中只包含同种类型的个体学习器，其中的个体学习器亦称基学习器，相应的学习算法称为基学习算法异质heterogeneous集成：包含不同类型的个体学习器，其中的个体学习器亦称组件学习器，也不再有基学习算法（因为这些个体学习器是由不同的学习算法生成）

8、降维与度量学习8.1 k近邻k-Nearest Neighbor(KNN)学习常用的监督学习方法，“懒惰学习lazy learning”的代表给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测通常分类任务中使用“投票法（选择这k个样本中出现最多的类别标记作为预测结果）”，回归任务中使用“平均法”，还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。条件：假设任意测试样本x附近任意小的δ离范围内总能找到一个训练样本，即训练样本的采

7、概率图模型概率模型probabilistic model：提供一种描述框架，将学习任务归结于计算变量的概率分布，核心是如何基于可观测变量推测出未知变量的条件分布 →①生成式generative模型：考虑联合分布P(Y,R,O)②判别式discriminative模型：考虑条件分布P(Y,R|O)由①或②得到条件概率分布P(Y|O)（Y：所关心的变量集合；O：可观测变量集合；R：其他变量的集合）概率图模型probabilistic graphical model：一类用图来表达变量相关关系的概

6、贝叶斯分类6.1贝叶斯决策论Bayesian decision theory概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。贝叶斯判定准则Bayes decision rule：为最小化总体风险，只需在每个样本上选择那个能使条件风险最小的类别标记，即，h* 称为贝叶斯最优分类器Bayes optimal classifier，与之对应的总体风险R(h*)称为贝叶斯风险Bayes risk，1-R(h

5、计算学习理论计算学习理论computational learning theory：研究关于机器学习的基础理论几个常用不等式：5.1 PAC学习概率近似正确（PAC）Probably Approximately Correct：最基本的计算学习理论——以较大的概率学得误差满足预设上限的模型，PAC 学习给出了一个抽象地刻画机器学习能力的框架若目标概念c∈H，则H中存在假设能将所有示例按与真实标记一致的方式完全分开，称该问题对学习算法是可分的separable/一致的consisten

4、特征选择与稀疏学习对一个学习任务来说，给定属性集，其中有些属性可能很关键、很有用，另一些则可能没什么用。将属性称为特征feature，则对当前学习任务有用的属性称为相关特征relevant feature，没什么用的属性称为无关特征feature selection（有一类特征称为冗余特征redundant feature，所包含的信息能从其他特征中推演出来，它很多时候不起作用，但也有时候可恰好对应完成学习任务所需的中间概念，是有益的）→获得数据后通常先进行特征选择（数据预处理过程），此后再训练学习

一、概念与基础3、决策树基本算法：3.1划分选择希望分支结点所包含的样本尽可能属于同一类别，即“纯度purity”越来越高3.1.1信息增益information gain信息熵information entropy：度量样本集合纯度最常用的一种指标信息增益：3.1.2增益率gain ratio3.1.3基尼指数Gini index→CART决策树（分类回归树）：在ID3基础上进行优化的决策树当CART是分类树时，采用GINI值作为节点分裂的依据；当CART是回归树时

一、概念与基础2、模型评估与选择错误率error rate，精度accuracy，误差error，训练误差training error/经验误差empirical error（在训练集上的误差），泛化误差generalization error（在新样本上的误差）过拟合overfitting（当学习器把训练样本学的太好了的时候，可能已经把训练样本本身的一些特点当做了所有潜在样本都会具有的一般性质，导致泛化性能下降→无法彻底避免，只能减小其风险）欠拟合underfitting（对训练样本的一般性质尚未

一、概念与基础1、名字由来阿瑟.萨缪尔Arthur Samuel,1952年研制了一个具有自学习能力的西洋跳棋程序，1956年应约翰.麦卡锡John McCarthy（人工智能之父）之邀，在标志着人工智能学科诞生的达特茅斯会议上介绍这项工作。他发明了“机器学习”这个词，将其定义为“不显示编程地赋予计算机能力的研究领域”。2、假设空间hypothesis space3、版本空间version space4、归纳偏好inductive bias机器学习算法在学习过程中对某种类型假设的偏好。如果