xxiaozr的博客

1 感知机模型 感知机是一个二分类的线性模型，输入是实例的特征向量，输出是实例的类别，感知机对应于分离超平面。 2 感知机的学习策略 2.1 数据集线性可分 2.2 感知机学习策略 为找出一个超平面，即确定感知机的W和b，需要确定一个学习的策略，即定义经验损失函数并将其最小化。感知机采用的损失函数是误分类点到超平面的总距

1.1 统计学习 统计学习就是计算机系统通过运用数据及统计方法提高系统性能的机器学习。统计学习的对象是数据，统计学习用于对数据进行预测和分析。统计学习总的目标就是考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确的预测和分析，同事也要考虑尽可能的提高学习效率。 统计学习由监督学习（supervised learning）,非监督学习（unsupersived lear...

k近邻法输入是实例的特征向量，对应特征空间的点，输出为实例的类别，可以取多类。 3.1 k近邻算法 给定一个训练数据集，对于新输入的实例，找到与该实例最相近的k个实例，这k个实例又属于某个类，就把该输入实例分为这个类。 3.2 k近邻模型 k近邻模型有三个基本要素：距离度量，k值的选择，分类决策规则 3.2.1 模型 特

基于贝叶斯定理和特征条件独立假设的分类方法，朴素贝叶斯的基本假设是条件独立性 4.1 朴素贝叶斯法的学习和分类 4.1.1 基本方法 设输入空间是一个n维向量的集合，输出空间是类标记集合，输入为特征向量x，输出为类标记y，X是定义在输入空间的随机向量，Y是定义在输出空间的随机变量。P(X,Y)是X和Y的联合概率分布。 朴素贝叶斯法通过训练数据集学习联合概率分布。

5.1 决策树模型与学习 5.1.1 决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构，由结点和有向边组成，结点由内部结点和叶节点，内部节点表示一个特征或者属性，叶节点表示一个类。 可以将决策树看做if-then规则的集合。 决策树还表示给定特征条件下类的条件概率分布。 决策树学习的目标是根据给定的训练数据构建一个决策树模型，使它可以对实例进行正确的分类。 决策树学习的算

支持向量机是一种二类分类模型。基本模型是定义在特征空间上的间隔最大的线性分类器。学习策略就是间隔最大化。 1 线性可分支持向量机和硬间隔最大化 1.1 线性可分支持向量机 输入由输入空间转换到特征空间，支持向量机的学习是在特征空间进行的。 学习的目标是在特征空间中找到一个分离超平面wx+b=0，将实类分到不同的类别。法向量指的一侧是正类。 一般当训练数据集线性可分的时候，存在无数个分离超平

1 逻辑斯蒂回归模型 logistics分布是指X具有以下的分布函数和密度函数： 1.1 二项逻辑帝斯回归模型 是一种分类模型，由条件概率表示，随机变量X为实数，随机变量Y取值为0或1。 模型如下 对于给定输入实例x，按照上面两个式子，分别计算两个概率，将x分类为概率高的类。 几率：一个事件发生的概率和不发生的概率的比值。对数几率是log(p/（1-p）) 对逻辑帝斯回归，

在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器线性组合，提高分类的性能1.1 提升方法AdaBoost算法 1.1.1 提升方法的基本思路 对于一个复杂任务来说，将多个专家的判断进行适当的综合得出的判断比任何一个专家单独的判断好。“三个臭皮匠顶个诸葛亮” 强可学习：在概率近似正确学习的框架中，一个概念（类）如果存在一个多项式学习算法能够学习它，并且正确率很高，就称这个概念