![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
math
浩波的笔记
微信公众号:浩波的笔记
展开
-
统计学习方法笔记(李航)———第四章(朴素贝叶斯法)
朴素贝叶斯法是一种多分类算法,它的基础是“朴素贝叶斯假设”(假设实例的各个特征具有条件独立性)。根据训练集估计模型的先验概率、条件概率,再按照后验概率最大化的准则,给出输入实例的分类预测。它的算法实现很简单,但理论证明并不容易。具体来说,通过极大似然估计法估计先验概率、条件概率,计算过程比较复杂,书上也没有给出。本章主要分为3个部分:朴素贝叶斯分类器,介绍它的基本假设与算法实现;先验概率、条件概率的极大似然估计;贝叶斯估计与拉普拉斯平滑。一、朴素贝叶斯分类器输入:训练集 T={(x1,y1)原创 2020-09-23 08:52:43 · 374 阅读 · 1 评论 -
统计学习方法笔记(李航)———第三章(k近邻法)
k 近邻法 (k-NN) 是一种基于实例的学习方法,无法转化为对参数空间的搜索问题(参数最优化 问题)。它的特点是对特征空间进行搜索。除了k近邻法,本章还对以下几个问题进行较深入的讨论:切比雪夫距离 L∞(xi,xj)L_{\infty}\left(x_{i}, x_{j}\right)L∞(xi,xj) 的计算“近似误差” 与“估计误差" 的含义k-d树搜索算法图解一、算法输入:训练集 T={(x1,y1),(x2,y2),…,(xN,yN)},xi∈X⊆RnT=\left\{\le原创 2020-09-16 23:32:40 · 416 阅读 · 0 评论 -
统计学习方法笔记(李航)———第二章(感知机)
感知机(perceptron)是Rosenblatt在60年代提出的第一个机器学习模型。尽管比较简单,而且有局限性,但它是后续学习“支持向量机”的基础。本章有两个值得注意的地方:一是对偶形式的理解,二是算法收敛性的理解,这些地方都能和“支持向量机”联系起来。一、模型的数学形式与图像表示数学形式感知机模型非常简单,输入空间(特征空间) 为 X⊆Rn,\mathscr{X} \subseteq R^{n},X⊆Rn, 输出空间为 Y={+1,−1}\mathscr{Y}=\{+1,-1\}Y={+1,−原创 2020-09-07 17:16:53 · 365 阅读 · 0 评论 -
统计学习方法笔记(李航)———第一章(统计学习方法概论)
一、基本概念假设空间 (Hypothesis space)相对“输入空间”、“输出空间”、“特征空间”等向量空间,假设空间的概念比较抽象。首先它是一个“映射”的集合。什么是映射呢?在这里暂且理解为函数吧。输入空间中的一个 n维向量x,通过函数f(⋅)f(\cdot)f(⋅) 得到了输出空间中的m维向量y:注意:按照符号规定, x(i)x^{(i)}x(i) 表示此向量的第 iii 个分量 (特征) , xix_{i}xi 表示这是第 iii 个向量 (样本)因此, 假设空间是函数的集合, 即原创 2020-09-05 23:23:09 · 518 阅读 · 0 评论 -
损失函数——交叉熵损失函数
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比,它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前,本文先简要介绍二次代价函数,以及其存在的不足。一、二次代价函数的不足ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时,当发现自己犯的错误越大时,改正的力度就越大。比如投篮:当运动员发现自己的投篮方向离正确方向越远,那么他调整的投篮角度就应该越大,篮球就更容易投进篮筐。同理,原创 2020-07-22 10:46:40 · 2771 阅读 · 0 评论 -
数据挖掘之随机事件与随机变量
一、随机事件1.基本概念释义现实生活中,一个动作或一件事情,在一定条件下,所得的结果不能预先完全确定,而只能确定是多种可能结果中的一种,称这种现象为随机现象。 例如,抛掷一枚硬币,其结果有可能是出现正面,也有可能是出现反面;掷骰子游戏中,出现的数字可能是1,2,3,4,5,6其中的任意一个。以上这些现象都是随机现象。使随机现象得以实现和对它观察的全过程称为随机试验,记为**EEE**。随机实验满足以下三个条件:可以在相同条件下重复进行;结果有多种可能性,并且所有可能结果事先已知;作一次试验原创 2020-06-22 22:44:03 · 321 阅读 · 0 评论