![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习
文章平均质量分 85
PhD的自我修养
通信不了一点。
展开
-
经典参数估计的Cramer-Rao界
经典参数估计的Cramer-Rao界。原创 2022-09-22 17:12:44 · 745 阅读 · 1 评论 -
决策树(Decision Tree)
决策树决策树是一种基本的分类、回归方法,呈树形结构。决策树定义如下:定义(决策树): 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型:内部结点和叶结点。内部结点表示一个特征或属性,叶结点表示一个类。决策树学习时,利用训练数据,根据损失函数最小化的原则建立决策树模型,预测时,对新的数据,利用决策树模型进行分类。决策树的学习包括三个步骤:特征选择,决策树的生成和决策树的修剪。特征选择特征选择通过选取对训练数据具有更强分类能力的特征,提高决策树学习的效率。如果原创 2021-11-02 10:49:36 · 1127 阅读 · 0 评论 -
朴素贝叶斯法
朴素贝叶斯法学习与分类朴素贝叶斯法旨在通过学习联合概率分布P(Y∣X)P(Y|X)P(Y∣X)以学习生成数据的机制,属于生成模型。以分类问题为例,此时输出空间为类标记集合Y={c1,⋯ ,cK}\mathcal{Y}=\{c_1,\cdots,c_K\}Y={c1,⋯,cK}。若输入特征向量x\mathbf{x}x包括nnn个特征、每个特征x(j)x^{(j)}x(j)可能取SjS_jSj个值,则需要估计的参数数量为K∏j=1nSjK\prod_{j=1}^nS_jK∏j=1nSj,即具有指原创 2021-10-20 10:40:13 · 70 阅读 · 1 评论 -
k近邻法(k-nearest neighbor)
kkk近邻法kkk近邻算法算法(kkk近邻法):输入:训练数据集T={(x1,y1),⋯ ,(xN,yN)}\mathcal{T}=\{(x_1,y_1),\cdots,(x_N,y_N)\}T={(x1,y1),⋯,(xN,yN)};输出:实例xxx所属的类。(1)根据给定的距离度量,在训练集T\mathcal{T}T中找出与xxx最邻近的kkk个点,涵盖这kkk个点的xxx的邻域记作Nk(x)N_k(x)Nk(x);(2)在Nk(x)N_k(x)Nk(x)中根据分类决策规则(如多原创 2021-10-19 20:28:10 · 237 阅读 · 0 评论 -
感知机(perceptron)
感知机感知机模型定义(感知机):假设输入控件(特征空间)是X⊆Rn\mathcalX\subseteq\mathbb{R}^nX⊆Rn,输出空间是Y={+1,−1}\mathcal{Y}=\{+1,-1\}Y={+1,−1},输入x∈X\mathbf{x}\in\mathcal{X}x∈X表示实例的特征向量,对应于输入空间(特征空间)的点;输出y∈Yy\in\mathcal{Y}y∈Y表示实例的类别,由输入空间到输出空间的如下函数:f(x)=sign(w⋅x+b),f(x)=\mathrm{sig原创 2021-10-18 17:48:49 · 112 阅读 · 1 评论 -
统计学习及监督学习概论
统计学习及监督学习概论统计学习以数据为研究对象,是数据驱动的学科。其基本假设为,同类数据具有一定的统计规律性。例如,在统计学习理论中,认为训练样本集与测试样本是独立同分布的。相同的分布使我们能够从训练样本中提取有关未知的测试样本的信息。统计学习的分类统计学习分为监督学习、无监督学习和强化学习。监督学习从训练数据集合T={(x1,y1),⋯ ,(xN,yN)}\mathcal{T}=\{(x_1,y_1),\cdots,(x_N,y_N)\}T={(x1,y1),⋯,(xN,yN)}中学习模型原创 2021-09-27 10:48:24 · 186 阅读 · 0 评论