统计学习方法
文章平均质量分 57
super_chicken
这个作者很懒,什么都没留下…
展开
-
统计学习方法 第2章+ 感知机python实现
统计学习方法 第2章+ 感知机python实现生成训练数据假设希望产生的分离超平面为2*x1+5*x2-3*x3-10=0,在0~5的范围内随机生成x1,x2,x3,计算其应有的分类结果并加入训练数据集。import random #每类需要的数量 NUM = 1000 #计数 counter1 = 0 counter0 = 0 #存放训练集 lines = [] #超平面函数 def fx(x1,原创 2017-11-15 10:54:31 · 334 阅读 · 0 评论 -
统计学习方法 第1章 统计学习方法概论
统计学习方法 第1章 统计学习方法概论统计学习 是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习包括监督学习,非监督学习,半监督学习和强化学习。本书主要讨论监督学习问题。输入实例x的特征向量:监督学习 从训练数据集合中学习模型,对测试数据进行预测。 训练数据由输入与输出对组成:监督学习分为学习和预测两个过程,首先学习系统利用给定的训练数据集,通过学习得到一个模原创 2017-11-10 13:46:24 · 312 阅读 · 0 评论 -
统计学习方法 第5章 决策树(2)
统计学习方法 第5章 决策树(2)剪枝决策树生成算法递归地产生决策树,直到不能继续为止。这样的树往往对训练数据分类准确,但对测试数据分类却没有那么准确,即出现过拟合。其原因在于决策树过于复杂。 解决这个问题的方法是简化决策树的复杂度,即剪枝,从已生成的决策树上裁掉一些子树或子节点。决策树剪枝通过极小化决策树整体损失函数实现。 设树T的子节点个数为|T|,t为叶节点,该叶节点有Nt个样本点,其中k原创 2017-11-27 10:28:12 · 489 阅读 · 0 评论 -
统计学习方法 第6章 逻辑斯谛回归与最大熵模型(2)
统计学习方法 第6章 逻辑斯谛回归与最大熵模型(2)最大熵模型的学习最大熵模型的学习等价于约束最优化问题: 即: 首先,引进拉格朗日乘子w0,…,wn,定义拉格朗日函数L(P,w): 最优化问题的原始问题: 对偶问题: 对偶函数的极大化等价于最大熵模型的极大似然估计。(证明p87)先求解内部的极小化问题,得到: 即为最大熵模型,其中: 之后可用最优化算法求解对偶问题外部的极大化问题原创 2017-12-14 09:35:09 · 328 阅读 · 0 评论 -
统计学习方法 第5章 决策树(1)
统计学习方法 第5章 决策树(1)模型分类决策树是一种描述对实例进行分类的树型结构,由节点和有向边组成。 每个内部节点标示一个特征或属性,每个叶节点表示一个类。用决策树分类,从根节点开始对实例的某一特征进行测试,根据结果将实例分配到其子节点,直到叶节点。决策树学习本质上是从训练数据集中归纳出一组分类规则。 与训练数据集不相矛盾的决策树可能有多个或一个也没有,我们需要一个与训练数据矛盾较小,同时具原创 2017-11-24 09:36:45 · 516 阅读 · 0 评论 -
统计学习方法 第6章 逻辑斯谛回归与最大熵模型(1)
统计学习方法 第6章 逻辑斯谛回归与最大熵模型(1)逻辑斯谛分布设X是连续随机变量,X服从逻辑斯谛分布是指X具有下列分布函数和密度函数: 其中μ为位置参数,γ为形状参数。逻辑斯谛分布的密度函数和分布函数: 二项逻辑斯谛回归模型二项逻辑斯谛回归模型是如下的条件概率分布: 对于给定的输入实例x,求得P(Y=1|x)和P(Y=0|x),比较两个条件概率值的大小,将实例x分到概率值较大的一原创 2017-12-11 10:51:11 · 388 阅读 · 0 评论 -
统计学习方法 第4章 朴素贝叶斯法
统计学习方法 第4章 朴素贝叶斯法学习与分类朴素贝叶斯法 是基于贝叶斯定理与特征条件独立假设的分类方法,实现简单,学习和预测效率较高。设输入空间X⊆Rn为n维向量的集合,输出空间Y={c1,c2,…,ck}。 朴素贝叶斯法通过训练数据集学习X和Y的联合概率分布P(X,Y)。具体步骤: 1. 学习先验概率分布 2. 学习条件概率分布朴素贝叶斯法对条件概率分布作了条件独立性假设: 即假设用于原创 2017-11-22 14:50:38 · 377 阅读 · 0 评论 -
统计学习方法 第3章 k近邻法
统计学习方法 第3章 k近邻法算法k近邻法:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最临近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。训练数据集: 其中xi为实例的特征向量,yi为实例的类别。 根据给定的距离度量,在训练集中找出与输入x最临近的k个点 从包含这k个点的邻域中根据分类决策规则(如多数表决)决定x的类别y 模型k近邻法中,当训练集,距离度原创 2017-11-16 13:03:08 · 509 阅读 · 0 评论 -
统计学习方法 第2章 感知机
统计学习方法 第2章 感知机模型感知机:假设输入空间是X⊆Rn,输出空间y={+1, -1}。由输入空间到输出空间的函数: 称为感知机。 其中w∈Rn称为权值,b属于R称为偏置,w·x为内积,sign是符号函数。感知机是一种线性分类器,属于判别模型。策略假设训练数据集是线性可分的,感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面,即确定感知机的模型参数w,b。原创 2017-11-14 12:32:13 · 276 阅读 · 0 评论 -
统计学习方法 第7章 支持向量机(1)
统计学习方法 第7章 支持向量机(1) 支持向量机 是一种二类分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括了核技巧,使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化,可形式化为一个求解凸二次规划问题。 线性可分支持向量机 假设给定一个特征空间上的训练数据集 其中xi为特征向量,yi为±1,分别表示正类和负类。 若数据集是线性可分...原创 2018-05-16 10:25:57 · 576 阅读 · 0 评论