L.Z.的博客

懒惰学习：在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理急切学习：在训练阶段就对样本进行学习处理维数灾难：在高维情形下出现的样本数据稀疏、距离计算困难等问题缓解维数灾难的一个重要途径是降维，亦称“维数简约”，即通过某种数字 变换将原始高维属性空间转变为一个低维“子空间”，在这个子空间中样本密度大幅提高，距离计算也变的更为容易线性降维方法MSD：原始空间中样本之间的距离...

在“无监督学习”中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据内在性质及规律，为进一步的数据分析提供基础聚类过程仅能自动形成簇结构，簇所对应的概念语义需由使用者来把握和命名聚类既能作为一个单独过程，用于寻找数据内在的分布结构，也可作为分类等其他学习任务的前驱过程聚类性能度量外部指标Jaccard系数FM指数Rand指数内部指标BD指数Dunn指数距离计算闵可夫斯基距离：...

第八章 集成学习集成学习，通过构建并结合多个学习器来完成学习任务 集成学习的一般结构：先产生一组“个体学习器”，再用某种策略将它们结合起来 要获得好的集成，个体学习器应好而不同，即个体学习器要有一定的“准确性”，即学习器不能太坏，并且要有“多样性”，即学习器间具有差异 目前的基础学习方法大致可以分为两大类，即个体学习器间存在强依赖关系，必须串行生成的序列化方法，以及个体学习器间不存在强依...

第七章 贝叶斯分类器将由结果推原因转化为由原因推结果 先验概率：是根据以往经验和分析得到的概率 后验概率：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，即由结果倒推原因贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记 判别式模型：给定x，通过直接建模P(c|x)来预测c；决策树、BP神经网络、支持向量机等 生成式模...

支持向量机的具体推导过程在我的上一篇博客中，连接如下：https://blog.csdn.net/lz_peter/article/details/79925448 支持向量机训练完成后，大部分的训练样本都不需要保留，最终模型仅与支持向量有关 SMO的基本思路是先固定xi之外的所有参数，然后求xi上的极值。由于存在约束，因此SMO每次选择两个变量并固定其他参数。这样，在参数初始化后，SMO不断...

第五章 神经网络神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应 若两类模式是线性可分的，即存在一个线性超平面能将它们分开 要解决非线性可分问题，需考虑使用多层功能神经元 “多层前馈神经网络”，其中·输入层神经元接收外界输入，隐层与输出层神经元对信号进行加工，最终结果由输出层神经元输出；换言之，输入神经元仅是接收输入，不...

第四章 决策树一般的，一颗决策树包含一个根节点。若干个内部节点和若干个叶节点。从根节点到每个叶节点的路径对应了一个判定测试序列 决策树的生成是一个递归的过程。在决策树基本算法中，有三种情形会导致递归返回 当前结点包含的样本全属于同一类别，无需划分 当前属性集为空，或是所有样本在所有属性值上的取值相同，无法划分 当前结点包含的样本集合为空，不能划分 决策树划分选择 信息增益：...

第三章 线性模型在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧氏距离之和最小 许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得 广义线性模型：g(.)为单调可微函数，y=g-1(wTx+b)称为广义线性模型，其中g(.)称为联系函数 Logistics Regression就是一个被Sigmoid函数归一化后的广义线性模型 线性判别分析...

第二章 模型评估与选择我们希望得到泛化误差小的学习器，然而，我们事前并不知道新样本是什么样，实际能做的是努力使经验误差最小化 评估方法 留出法 交叉验证法 自助法 我们用测试集上的判别效果来估计模型在实际使用时的泛化能力，而把训练数据另外划分为训练集和验证集，基于验证集上的性能来进行模型选择和调参 在模型选择完成后，学习算法和参数配置已选定，此时应该用数据集D重新训练模型。...

    最近在学习周志华老师的《机器学习》，现将每一章我认为比较重要的知识点总结出来。这样能够方便在今后迅速地了解每一章的大致内容，做到温故知新。希望也能帮助到大家。 第一章 绪论我们能做出有效地预判，是因为我们已经累计了许多经验，而通过对经验的利用，就能对新情况做出有效的决策 机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法” 机器学习的目标是使...