![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习(李航)
文章平均质量分 91
期末复习
@yuqing_wang
这个作者很懒,什么都没留下…
展开
-
线性回归
线性回归模型模型表示yi=xiTβ+ϵiy_i=x_i^T\beta+\epsilon_iyi=xiTβ+ϵiY=(y1,⋯ ,yN)TY=(y_1,\cdots,y_N)^TY=(y1,⋯,yN)TX=(X1,⋯ ,xN)T∈RN∗PX=(X_1,\cdots,x_N)^T \in R^{N*P}X=(X1,⋯,xN)T∈RN∗Pϵ=(ϵ1,⋯ ,ϵn)T∈RN\epsilon=(\epsilon_1,\cdots,\epsilon_n)^T \in R^Nϵ=(ϵ1,⋯,ϵn原创 2021-01-02 14:22:03 · 309 阅读 · 0 评论 -
统计学习概论
统计学习基于数据构建概率统计模型并运用模型对数据进行分析预测的一门学科对象: 数据要素: 模型,策略,算法(模型空间,选择准则,和模型学习方法)步骤:明确学习模型(模型属于某个函数的集合)评价准则训练最优模型目的: 基于数据构建概率统计模型,实现对数据的预测分析统计学习的分类基本分类1.监督学习:从标注模型学习预测模型的机器学习分类...原创 2021-01-02 10:08:58 · 141 阅读 · 0 评论 -
聚类方法
聚类分析:无监督学习方法目标:给定样本,依据他们的相似度或者距离,将其归并到若干个类或簇的数据分析问题聚类的基本概念相似度距离的度量样本矩阵:X=(x1,⋯ ,xn)T∈RN×pX=(x_1,\cdots,x_n)^T \in R^{N\times p}X=(x1,⋯,xn)T∈RN×p闵可夫斯基距离马式距离相关系数夹角余弦类或簇常用特征类的均值xˉG=1nG∑i=1nGxi\bar x_G=\frac{1}{n_G}\sum_{i=1}^{n_G}x_ixˉG=n原创 2020-12-20 16:45:41 · 220 阅读 · 0 评论 -
Support Vector Machine(支持向量机)
线性可分支持向量机线性可分问题: 可以在特征空间中找到一个分离的超平面wTx+b=0w^Tx+b=0wTx+b=0将特征空间划分为正例和负例。通过分类决策函数f(x)=sign(wTx+b)f(x)=sign(w^Tx+b)f(x)=sign(wTx+b)可以完美划分正负例函数间隔和几何间隔函数间隔:γ^i=yi(wTxi+b)\hat \gamma_i=y_i(w^Tx_i+b)γ^i=yi(wTxi+b)超平面关于训练数据集的函数间隔:γ^=miniγ^i\hat\gamma=min原创 2020-12-20 15:57:49 · 164 阅读 · 1 评论 -
集成学习
简介多个“弱学习器”,组合产生了最终结果,往往具备比较好的泛化特征简单分析考虑二分类问题y∈{−1,1}y \in \{-1,1\}y∈{−1,1},假设基分类器的错误率为 ϵ\epsilonϵp(hi(x)≠g(x))=ϵp(h_i(x)\neq g(x))=\epsilonp(hi(x)=g(x))=ϵ利用投票法集成H(x)=sign(∑t=1Tht(x))H(x)=sign(\sum_{t=1}^Th_t(x))H(x)=sign(t=1∑Tht(x))错误率:P(H(x)≠原创 2020-12-20 11:58:03 · 493 阅读 · 1 评论 -
决策树
决策树一种if-then规则的集合,具有较好的可解读性,一种分类/回归方法决策树模型与学习模型定义构成节点:(1)内部节点:特征/属性/条件(2) 叶节点:类有向边if-then规则集合从根节点到叶节点,一条路径构成一条规则要求: 互斥且完备每一个实例可以也仅可以被一条规则覆盖决策树与条件概率分布决策树将空间划分为不相交的单元,每个单元对应一个条件概率分布,每条路径对应一个单元,每个叶节点强行分类到概率较大的那类决策树学习给定训练集:T={(x1,y1),⋯ ,(xn,y原创 2020-12-19 19:43:32 · 785 阅读 · 1 评论 -
Naive BayesClassifier(朴素贝叶斯)
朴素贝叶斯的学习和分类模型输入:x∈Rpx\in R^px∈Rp,p维特征向量输出y∈{1,2,⋯ ,K}y\in\{1,2,\cdots,K\}y∈{1,2,⋯,K},,类别标记训练数据集T={(x1,y1),⋯ ,(xn,yn)}T=\{(x_1,y_1),\cdots,(x_n,y_n)\}T={(x1,y1),⋯,(xn,yn)}模型假设(x,y)(x,y)(x,y)由p(x,y)p(x,y)p(x,y)产生条件独立性假设:P(X=x∣Y=ck)=∏i=1pp(Xi=x原创 2020-12-19 17:20:41 · 160 阅读 · 1 评论 -
分类: logistic regression
逻辑回归模型逻辑分布:x:continuous variable累计分布函数:F(x)=11+exp(−(x−μ)γ)F(x)=\frac{1}{1+exp(-\frac{(x-\mu)}{\gamma})}F(x)=1+exp(−γ(x−μ))1density function: f(x)=exp(−(x−μ)γ)γ(1+exp(−(x−μ)γ))2f(x)=\frac{exp(-\frac{(x-\mu)}{\gamma})}{\gamma(1+exp(-\frac{(x-\mu)}{\ga原创 2020-12-19 16:41:47 · 82 阅读 · 1 评论 -
广义线性模型
指数分布族f(y∣θ,ψ)=exp{yb(θ)−c(θ)a(ψ)+d(y,ψ)}f(y|\theta,\psi)=exp\{\frac{yb(\theta)-c(\theta)}{a(\psi)}+d(y,\psi)\}f(y∣θ,ψ)=exp{a(ψ)yb(θ)−c(θ)+d(y,ψ)}θ\thetaθ:典型参数,与y的均值μ\muμ有关KaTeX parse error: Undefined control sequence: \pso at position 1: \̲p̲s̲o̲:刻度参数,原创 2020-12-19 16:40:11 · 193 阅读 · 1 评论 -
Model Evaluation
confusion matrixtrue class \fitted class10total1TPFNP0FPTNN总体衡量accuracy(精度)TP+TNP+N\frac{TP+TN}{P+N}P+NTP+TNerror rate(误分率)FP+FNP+N\frac{FP+FN}{P+N}P+NFP+FN查准率(precision)TPTP+FP\frac{TP}{TP+FP}TP+FPTP查全率(recall)TPTP+FN原创 2020-12-19 16:30:02 · 193 阅读 · 1 评论 -
K近邻法(k-nearest Neighbour)
introduction给定训练数据集,对于新输入的实例,在训练数据集中寻找与该实例最近邻的k个实例,采用投票法分类没有显式学习过程k近邻算法输入:T=(x1,y1),⋯ ,(xn,yn)T= {(x_1,y_1),\cdots,(x_n,y_n)}T=(x1,y1),⋯,(xn,yn)x∈Rnx\in R^nx∈Rn特征向量y∈CKy\in C_Ky∈CK分类输出:x属于的类别(1)根据给定的距离度量,在训练集TTT中,找到和xxx临近的kkk个点,涵盖这k个点的x的邻域为Nk(原创 2020-12-14 10:47:07 · 423 阅读 · 0 评论 -
LDA(线性判别分析)
introductionlda原理一个常见的LDA分类基本思想是假设各个类别的样本数据符合高斯分布,这样利用LDA进行投影后,可以利用极大似然估计计算各个类别投影数据的均值和方差,进而得到该类别高斯分布的概率密度函数。当一个新的样本到来后,我们可以将它投影,然后将投影后的样本特征分别带入各个类别的高斯分布概率密度函数,计算它属于这个类别的概率,最大的概率对应的类别即为预测类别。model assumptionπk\pi_kπk: class k 的先验概率∑i=1kπk=1\sum_{i=1}^原创 2020-12-14 10:12:20 · 213 阅读 · 0 评论