统计学习方法笔记
文章平均质量分 79
Window_Bird
计科大三在读;高教杯数学建模三等奖,13届妈妈杯三等奖;濯足清流,抽足再入虽非前水,依然沁凉不减。
展开
-
统计学习方法笔记_cbr:第十一章:条件随机场
给定观测求状态;定义若随机变量Y构成的无向图,对于任意结点满足Markovrandomfield,那么称其条件概率分布为条件随机场;原创 2022-07-29 17:26:26 · 94 阅读 · 0 评论 -
统计学习方法笔记_cbr:第十章 隐马尔可夫模型
由隐藏的马尔可夫链随机生成不可观测的状态随机序列,状态随机序列(横向)再生成观测序列(纵向);隐马尔可夫由初始概率分布,状态概率分布,观测概率分布确定;齐次马尔科夫假设观测独立性假设当前状态只于前一时刻状态有关任意时刻的观测只与该时刻的状态有关。...原创 2022-07-24 18:18:15 · 313 阅读 · 0 评论 -
统计学习方法笔记_cbr:第九章 EM算法及其推广
概率模型有时含有观测变量,又含有隐变量或潜在变量。EM算法就是含有的的极大似然估计法;EM算法是一种迭代算法,算法的迭代由两步组成E步求期望;M步求极大;9.1.1EM算法EM算法与初值有关,不同的初值可能对应不同的参数值;观测随机变量的数据和隐随机变量的数据称为完全数据;单单只有观测随机变量的数据叫不完全数据;EM算法通过迭代求模型的极大似然估计;=>同过使下界增大来使得对数似然函数L(θ)增大;缺点如图下界极大值点对应的并非是L(θ)的极大值;............原创 2022-07-22 23:31:36 · 105 阅读 · 0 评论 -
统计学习方法笔记_cbr:第八章 提升方法AdaBoost算法
AdaBoost算法无需下界,且有适应(abaptive)性,能适应弱分类器各自的误差,这也是该适应性提升算法的由来;当损失函数是一般损失函数时,优化并不容易,梯度提升算法应运而生;,这就需要提升方法了,例如本章论述的AdaBoost算法;AdaBoost特点不改变训练数据集,改变其权值分布;c.分类误差率小的分类模型在最终分类模型中作用越大;提升树模型表示为决策树加法模型(即决策树的线性组合)小组讨论(相互取长补短)比每个个体的讨论成果更优;b.分类误差率是误分类样本的权值之和;.........原创 2022-07-20 01:52:56 · 123 阅读 · 0 评论 -
统计学习方法笔记_cbr:第七章 SVM支持向量机
即核函数等于映射内积;特点核函数直接计算容易,用映射内积计算难;核函数和映射的关系一对多;原创 2022-07-19 00:40:35 · 298 阅读 · 0 评论 -
统计学习方法笔记_cbr:第六章 6.2 最大熵模型
C是满足所有约束条件的集合;前P是指满足约束条件的概率;后P代表了所有的概率分布;特征函数f(i){f(x,y)}x和y满足事实即为1,否者为0;期望的作用使得经验分布等价于理论分布,即经验分布的期望等于理论分布的期望;如下;条件不同条件对应的类别输入变量x输出变量y条件熵公式推导最大熵模型得应用对于输入x,我们会选概率大的那个类别作为输出变量问如果概率最大得类有两个及以上?正则化,导入正则项将经验风险最小化问题转化为结构风险最小化,再次估量;......原创 2022-07-15 00:31:04 · 697 阅读 · 0 评论 -
统计学习方法笔记_cbr:第六章 6.1 逻辑斯蒂回归模型
定义 6.1 (逻辑斯蒂分布)原型:人口增长率和人口量成线性关系->人口量的指数增长->给人口增长增加一个环境阻力(二次型)->计算现存人口占环境承受最大人口比例P(t)->对P(t)求一阶导得P(t)微分方程->整理得P(t)函数表达式;类似于二项分布,设已出现人口为1,未出现人口为0;这个P(t)函数被称为Logistic函数;Logistic函数变形:可得标准的Sigmoid激活函数Sigmoid激活函数满足分布函数的三个条件:(非减,有界,右连续);对分布函数(Sigmoid函数)求导得概率密原创 2022-07-10 15:43:11 · 771 阅读 · 0 评论 -
统计学习方法笔记_cbr:第五章 决策树
定义 5.1(决策树):分类决策树模型是一种描述对实例进行分类的树形结构,决策树由节点有向边组成;节点有两种类型:用决策树分类,从根结点开始,对实例的某一特征进行分类;以此将实例划分至子节点,递归直至叶节点,则将实例分配到类;决策树的路径或与其对应的if-then 规则集合的一条重要性质:互斥(每一个实例仅对应一条路径·)并且完备(对应满足每一条路径);决策树的条件概率分布由每条路径对应的类的条件概率分布组成;决策树学习的本质:从训练数据集中归纳出一组分类规则;选择条件概率模型的需要:有较好的泛化,拟合原创 2022-07-02 13:24:37 · 324 阅读 · 0 评论 -
统计学习方法笔记_cbr:第四章 朴素贝叶斯法
朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。先求联合概率分布,根据贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实际上学习到生成数据的机制,所以属于生成模型。朴素贝叶斯法通过训练数据集学习联合概率分布:联合概率分布=先验概率分布*条件概率分布 ;朴素贝叶斯法分类时,对给定的输入x,通过学习到的模型计算后验概率分布P(Y=ck|X=x),将后验概率最大的类作为x的类输出:朴素贝叶斯法对条件概率分布作了条件独立性假设:目的:为了避免贝叶斯定理求解时参数过多导致的原创 2022-06-27 20:20:19 · 276 阅读 · 0 评论 -
统计学习方法笔记_cbr:第三章 k近邻法
k近邻法(k-nearest neighbor ,k-NN)是一种基本分类和回归方法;输出可取多类;通过多数表决等方法进行预测;k近邻法实际上利用训练数据集对特征空间进行划分,并作为其分类的模型;k近邻法的三要素:I为指示函数arg max f(x): 当f(x)取最大值时,x的取值;arg min f(x):当f(x)取最小值时,x的取值;特殊情况:k=1,称为最近邻法;输入(实例点)特征向量x的类与x最近邻点的类相等;单元:特征空间中,每个训练实例点,距离该点比其他点距离更近的所有点组成一个区域原创 2022-06-26 19:51:59 · 475 阅读 · 0 评论 -
统计学习方法笔记_cbr:第二章 感知机
感知机是二类分类的线性分类模型,判别模型输入x(属于X)表示为实例的特征向量;对应与输入空间(特征空间)的点;输出y表示实例的类别取+1,-1;输入空间到输出空间的函数:f(x)=sign(w·x+b);w和b为感知机模型参数;感知机学习旨在求出将训练数据进行线性划分的分离超平面;感知机的几何解释:线性方程:w·x+b=0其对应于特征空间R^n=中的一个超平面S,其中因为超平面S将特征空间的点分为正负两类,所以S又别称为分离超平面;存在一个超平面S可将数据集中的正负实例完全无误分在超平面两侧;所有误原创 2022-06-25 18:34:30 · 357 阅读 · 0 评论 -
统计学习方法笔记_cbr:统计学习及监督学习概论
统计学习是基于数据构建概率统计模型并应用与预测与分析的学科;关于数据的基本假设——同类数据具有一定的统计规律性,可以用随机变量来描述数据中的特征,用概率分布描述数据的统计规律;假设数据是独立同分布产生的,并且假设要学习的模型属于某个函数的集合,称为假设空间,从中选取最优模型,在给定评价标准下有最优预测;三方面:方法、理论、应用;从标注中学习预测模型输入的实例用特征向量表示,特征向量存在的空间称为特征空间;输入输出作为随机变量的取值;输入与输出对称为样本或样本点,模型训练数据由此组成;假设输入输出的随机原创 2022-06-22 12:55:40 · 396 阅读 · 0 评论