Peter-Haoran的博客

决策树 (decision tree) 是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是 if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括 3 个步骤：特征选择、决策树的生成 和决策树的修剪。5.1 决策树模型与学习.

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入xxx ， 利用贝叶斯定理求出后验概率最大的输出yyy 。 朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。4.1 朴素贝叶斯法的学习与分类4.1.1 基本方法朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)P(X,Y)P(X,Y)。具体地，学习以下先验概率分布及条件概率分布。先验概率分布：P(Y=ck),k=1,.

k 近邻法 （k-nearest neighbor, k-NN）是一种基本分类与回归方法。本书只讨论分类问题中的 kkk 近邻法。 kkk 近邻法的输入为实例的特征向量，对应于特征空间的点：输出为实例的类别，可以取多类。 kkk 近邻法假设给定一个训练数据集， 其中的实例类别己定。分类时，对新的实例，根据其 kkk 个最近邻的训练实例的类别，通过多数表决等方式进行预测 。 因此， kkk 近邻法不具有显式的学习过程。 kkk 近邻法实际上利用训练数据集对特征向量空间进行划分，井作为其分类的"模型" ，kk.

第二章 感知机感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取 +1+1+1 和−1-1−1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。 感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。 感知机预测是用学习得到的感知机模型对新的输入实例进行分类。2.1 感

1.5 正则化与交叉验证1.5.1 正则化模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模型参数向量的范数。正则化项的主要作用是平衡模型复杂度和模型准确性正则化一般具有如下形式:min⁡f∈F1N∑i=1NL(yi,f(xi))+λJ(f)\min _{f \in \mathcal{F}} \frac{1}{N} \sum_{i=1}^{N} L\left

1.3 统计学习方法三要素统计学习方法都是由模型、策略和算法构成，即统计学习方法由三要素构成， 可以简单地表示为：方法=模型+策略+算法方法=模型+策略+算法方法=模型+策略+算法以下主要讨论监督学习中的统计学习三要素1.3.1 模型在监督学习过程中，模型就是所 要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合。假设空间中的模型一般有无穷多个。假设空间用F\mathca

1.1 统计学习1. 统计学习的特点统计学习是关于计算机基于数据构建概率模型并运用模型对数据进行预测与分析的一门学科统计学习的主要特点是：统计学习以计算机及网络为平台，是建立在计算机及网络上的统计学习以数据为研究对象，是数据驱动的学科统计学习的目的是对数据进行预测与分析统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析统计学习是概率论、统计学、计算理论、最优化理论及计算机科学等多个领域的交叉学科统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习2.