z1433768804的博客

第五章：决策树 决策树（decision tree）是一种基本的分类与回归方法。用于分类时，其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的元组建立决策树模型；预测时，对新的数据，利用决策树模型进行分类。 文章目录第五章：决策树决策树模型与学习决策树模型决策树与 if-then规则决策树与条件概率分布决策树学习特征选择信息增益(information gain...

第四章:朴素贝叶斯法 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征天骄独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入 xxx 利用贝叶斯定理求出后验概率最大的输出 yyy。 朴素贝叶斯的学习与分类 基本方法 设输入空间 X∈Rn{\Bbb{X}} \in R^nX∈Rn 为 nnn 维向量的集合，输出空间为类标记集合 Y={c1...

第三章:k近邻法 k近邻法（k-nearest neighbor， k-NN）于1968年由Cover和Hart提出，是一种基本分类与回归方法。当做分类预测时，一般采用多数表决的策略，做回归时一般采用平均值法决策。对于分类问题，k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，属于监督学习。KNN算法实际上利用训练数据集对特征空间进行划分，并作为其分类的“模型”，不具有显式的...

第二章 感知机 感知机（perceptron）于1957年由Rosenblatt提出，是神经网络与支持向量得基础。其输入为实例得特征向量，输出为实例得类别，是二类分类的线性分类模型，属于判别模型。感知机的学习旨在求出将训练数据进行线性划分的超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。 模型 感知机定义 假设输入空间（特征空间）是 X∈Rn\it{...

第1章 统计学习及监督学习概论 统计学习（statistical learning）是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称为统计机器学习（statstical machine learning）。因而我们也可以说统计学习是运用一系列工具对数据进行分析建模，故它的研究对象是数据，研究目的是预测与分析。从数据出发，提取数据的特征，抽象出数据模型，发现数据中...