![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习方法
文章平均质量分 53
comli_cn
算法工程师
展开
-
感知机模型
问题:有一组训练数据集T{(x1y1x2y2xNyN)}其中xi∈XRnyi∈Y1−1i12N,求一个超平面S使其能够完全将yi1和yi−1的点分开。原创 2023-07-08 18:22:18 · 251 阅读 · 0 评论 -
手推支持向量机(一)
原创 2021-06-03 11:56:39 · 179 阅读 · 0 评论 -
AdaBoost算法公式形象的解释
0. 问题引入以上是李航的《统计学习方法》中对AdaBoost算法的描述,虽然后文中也对这里的式子进行了注释,但还不是很明朗,下面是我自己的解读。1. 几个式子的解释这里的m代表第m个分类器,第m个分类器的分类误差率为分类错误的样本个数乘以一个系数wmiw_{mi}wmi。m=1时这个系数是1/N,之后会按照下面的公式不断变化:这个式子中的关键是αm\alpha_mαm:由上式可知:当eme_mem小于等于1/2时,αm\alpha_mαm大于等于0,当eme_mem大于1/2原创 2020-07-26 17:48:59 · 276 阅读 · 0 评论 -
朴素贝叶斯法
1.从贝叶斯公式说起贝叶斯公式又称逆概率公式,定义为:这个公式的目的是求在B已经发生的情况下反推导致这种情况的AjA_jAj出现的概率,求这个概率的前提是P(Ai)P(A_i)P(Ai)和P(B∣Ai)P(B|A_i)P(B∣Ai)能直接求出。在这个式子里面P(Ai)P(A_i)P(Ai)被称为先验概率,因为它是事先知道的,P(B∣Ai)P(B|A_i)P(B∣Ai)为条件概率,P(Aj∣B)P(A_j|B)P(Aj∣B)是后验概率,因为是B发生之后求P(Aj)P(A_j)P(Aj)的概原创 2020-05-28 10:01:25 · 336 阅读 · 0 评论 -
用kd树实现k近邻算法
构造kd树在这里《统计学习方法》用到了平衡kd树,在学习平衡kd树之前可以先学习一下比较简单的平衡二叉树。这里我们直接按照《统计学习方法》中构造kd树的步骤来写代码:class Node:"""构造节点类,节点包括当前节点data,当前节点的深度depth,当前节点的左右子节点left和right""" def __init__(self, data, depth=0, left=None, right=None): self.data = data se.原创 2020-05-13 12:27:39 · 1150 阅读 · 1 评论 -
k近邻法原理及编程实现
算法描述给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类。三个基本要素1.距离度量两个实例之间的距离可以用LpL_pLp范数来定义,其中p可以选择。LPL_PLP范数的定义为:这里面的xix_ixi和xjx_jxj代表两个实例,这两个实例都有n个分量。比较常用的是p=2,此时称为欧氏距离,即:例如xi=(1,2,3)x_i=(1,2,3)xi=(1,2,3),xj=(4,5,6)x_j=(4,5,原创 2020-05-11 22:16:45 · 531 阅读 · 0 评论 -
感知机理论用于线性可分数据集分类+例题计算+编程实现
一、感知机原理简单来说就是给定一组数据集(以二维为例),在二维平面上求出一根直线将标记好的数据集分为两类,直线一边为一类,另一边为另一类。例如给定一个数据集:其中:此时假设分类直线的函数为:如果分类正确,那么对于所有y=1的实例i,有:对于所有y=-1的实例i,有:那么误分类就是:这个数据集中某个实例到分类超平面的距离为:误分类点到分类超平面的总距离为:故感知...原创 2019-09-28 22:09:02 · 4160 阅读 · 0 评论 -
线性回归损失函数求偏导(手推)
至于为什么可以去掉书中也没说,我推测可以在求梯度之前对训练数据标准化,使其均值为0,这样的话xix_ixi的均值就是0了,可以直接去掉,同时也会使得计算简便。...原创 2020-04-19 11:25:24 · 2010 阅读 · 3 评论 -
经验风险最小化和结构风险最小化
1损失函数和风险函数监督学习问题是在假设空间F\mathit{F}F中选取模型fff作为决策函数,对于给定的输入XXX,由f(X)f(X)f(X)给出相应的输出YYY,这个输出的预测值f(X)f(X)f(X)与真实值YYY可能一样也可能不一样,用损失函数(loss function)来度量预测错误的程度。损失函数是f(X)f(X)f(X)和YYY的非负实值函数,记作L(Y,f(X))L(Y,f(...原创 2020-04-10 22:52:25 · 1382 阅读 · 0 评论