Machine Learning
CharlesVan
不要让自己内心深处的声音淹没在别人嘈杂的意见指中,而是要有勇气跟随你的内心和直觉。
展开
-
第二章 模型评估与选择
第二章 模型评估与选择2.1 经验误差与过拟合误差(error):把学习器的实际预测输出与样本的真实输出之间的差异训练误差(training error)或经验误差(empirical error):在训练集上的误差泛化误差(generalization error):在新样本上的误差过拟合(overfitting):把训练样本本身的一些特点当作了所有潜在样本都具有的一般性质,这样就会导...原创 2019-07-01 21:45:04 · 465 阅读 · 0 评论 -
第13章 半监督学习
第13章 半监督学习13.1 未标记样本有标记样本:样本的类别标记已知未标记样本:样本的类别标记未知主动学习的目标是 使用尽量少的查询来获得尽量号的性能半监督学习(semi-supervised learning):让学习器不依赖外界交互,自动地利用未标记样本来提升学习性能聚类假设(cluster assumption):假设数据存在簇结构,同一簇的样本属于同一类别流形假设(mani...原创 2019-07-17 21:03:34 · 216 阅读 · 0 评论 -
第15章 规则学习
第15章 规则学习15.1 基本概念规则学习(rule learning)是从训练数据中学习出一组能用于对未见示例进行判别的规则。一条规则形如⨁⟵f1∧f2…∧fL\bigoplus \longleftarrow f_{1} \land f_{2}\ldots \land f_{L}⨁⟵f1∧f2…∧fL其中逻辑蕴含符号⟵\longleftarrow⟵右边部分称为规则体,表示该...原创 2019-07-19 22:05:43 · 497 阅读 · 0 评论 -
第12章 计算学习理论
第12章 计算学习理论12.1 基础知识计算机学习理论(computational learning theory)研究通过计算来进行学习的理论,即关于机器学习的理论基础,其目的是分析学习任务的困难本质。给定样例集D={(x1,y1),(x2,y2),…,(xm,ym)},xi∈X,yi∈Y={−1,+1}D = \left\{ \left( x_{1},y_{1} \right),\lef...原创 2019-07-16 21:43:50 · 494 阅读 · 0 评论 -
第14章 概率图模型
第14章 概率图模型14.1 隐马尔可夫模型概率模型(probabilistic model)提供了一种描述框架,将学习任务归结于计算变量的概率分布。在概率模型中,利用已知变量推测未知变量的分布称为推断,其核心是如何基于可观测变量推测出未知变量的条件分布。隐马尔可夫模型(Hidden Markov Model, HMM)是结构最简单的动态贝叶斯网(dynamic Bayesian netw...原创 2019-07-18 21:25:09 · 342 阅读 · 0 评论 -
第9章 聚类
第9章 聚类9.1 聚类任务无监督学习(unsupervised learning)目标:对无标记训练样本的学习来揭示数据的内在性质及规律,为进一步的数据分析提供基础。聚类:将数据集中的样本划分若干个通常是不相交的子集,每个字节称为一个簇(cluster)。通过这样的划分,每个簇可能对应于一些潜在的概念(类别)假定样本集D={x1,x2,…,xm}D = \left\{ x_{1},x_{...原创 2019-07-11 20:08:55 · 243 阅读 · 0 评论 -
第六章 支持向量机
第六章 支持向量机6.1 间隔与支持向量给定训练样本集D={(x1,y1),(x2,y2),…,(xm,ym)},yi∈{−1,+1}D = \left\{ \left( x_{1},y_{1} \right),\left( x_{2},y_{2}\right),\ldots,\left( x_{m},y_{m} \right) \right\},y_{i} \in \left\{ - 1,...原创 2019-07-06 15:23:20 · 172 阅读 · 0 评论 -
第五章 神经网络
第五章 神经网络5.1 神经元模型神经网络(nenural networks):由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界所作出的交互反应。M-P神经元模型:神经元接收来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”处理以产生神经元的输出。5.2 感...原创 2019-07-05 08:55:34 · 420 阅读 · 0 评论 -
第11章 特征选择与稀疏学习
第11章 特征选择与稀疏学习11.1 子集搜索与评价特征:属性相关特征(relevant feature):对当前学习任务有用的属性特征选择(feature selection):从给定的特征集合中选择出相关特征子集的过程特征选择的原因 1、维数灾难问题 2、去除不相关特征往往会降低学习任务的难度特征选择过程必须确保不丢失重要特征,否则后续学习过程会因为重要信息的缺失而无法获得...原创 2019-07-14 16:28:10 · 299 阅读 · 0 评论 -
第10章 降维与度量学习
第10章 降维与度量学习10.1 k近邻学习k-近邻(k-Nearest Neighbor,KNN)学习是一种常用的监督学习方法,其工作机制:给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这个k个“邻居”的信息来进行预测在分类任务中可使用投票法,即选择这k个样本中出现最多的类别标记作为预测结果在回归任务中可使用平均法,即将这k个样本的实值输出标记的平均值作为预...原创 2019-07-13 19:07:06 · 305 阅读 · 0 评论 -
第8章 集成学习
第8章 集成学习8.1 个体与集成集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务,有时候也被称为多分类器系统(multi-classifier system)个体学习器通常由一个现有的学习算法从训练数据产生。集成中只包含同种类型的个体学习器,这样的集成是同质。同质集成中的个体学习器亦称为基学习器(base learner),相应的学习算法亦称为基学习算...原创 2019-07-09 16:49:09 · 195 阅读 · 0 评论 -
第四章 决策树
第四章 决策树4.1 基本流程决策树是基于树结构来进行决策的。一般的,一棵决策树包含一个根结点、若干个内部结点和若干个叶结点叶结点对应决策结果,其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子结点中;根结点包含样本全集从根结点到每个叶结点的路径对应了一个判定测试序列决策树的目的是为了产生一棵泛化能力强(即处理未见示例能力强)的决策树,其基本流程遵循“...原创 2019-07-03 15:56:52 · 297 阅读 · 0 评论 -
第七章 贝叶斯分类器
第七章 贝叶斯分类器7.1 贝叶斯决策论贝叶斯决策论(Bayesian Decision theory)是概率框架下实施决策的基本方法。假设有N种情况的类别标记,即y={c1,c2,…,cN}y = \left\{ c_{1},c_{2},\ldots,c_{N}\right\}y={c1,c2,…,cN},λij\lambda_{\text{ij}}λij是将一个真实的标记为cj...原创 2019-07-08 22:13:46 · 244 阅读 · 0 评论 -
第三章 线性模型
第三章 线性模型3.1 基本形式给定由d个属性描述的示例x={x1,x2,……,xd},其中xi是x在第i个属性上的取值,线性模型(linear model)学得一个通过属性的线性组合来进行预测的函数。一般用向量形式写成由于ω直观表达了各属性在预测中的重要性,因此线性模型有很好的可解释性。3.2 线性回归给定数据集D={(x1,y1),(x2,y2),……,(xm,ym)},其中x...原创 2019-07-02 17:12:49 · 318 阅读 · 0 评论 -
第16章 强化学习
第16章 强化学习16.1 任务与奖赏强化学习任务通常用马尔可夫决策过程(Markov Decision Process,MDP)来描述:及其处于缓解E中,状态空间为X,其中每个状态x∈Xx \inXx∈X是机器感知到缓解的描述,机器能采取的动作构成了动作空间A,若某个动作a∈Aa \inAa∈A作用在当前状态xxx上,则潜在的转移函数PPP将使得环境从当前状态按某种概率转移到另一种状态。...原创 2019-07-22 15:57:38 · 344 阅读 · 0 评论